-
Die Erfindung betrifft ein Verfahren zur indirekten Detektion eines verdeckten Verkehrsteilnehmers.
-
Zur Automatisierung von Fahraufgaben oder zur Realisierung von Sicherheitsassistenzfunktionen müssen auch Verkehrsteilnehmer berücksichtigt werden, deren direkte Detektion durch Verdeckungen möglicherweise behindert oder verhindert wird.
-
Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, mittels welchem verdeckte Objekte detektiert werden können, um Fahrautomatisierungsfunktionen oder Fahrerassistenzfunktionen verbessern zu können.
-
Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der folgenden Beschreibung sowie der Figuren.
-
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zur indirekten Detektion eines verdeckten Verkehrsteilnehmers bereitgestellt.
-
Gemäß dem Verfahren wird eine Kamera bereitgestellt, welche an einem Fahrzeug angeordnet ist. Außerdem wird eine Bildverarbeitungseinheit bereitgestellt. Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen. Die Bildverarbeitungseinheit kann insbesondere software-implementiert sein. Es wird ein Bild einer äußeren Umgebung des Fahrzeugs mittels der Kamera aufgenommen, ein Schatten wird innerhalb des Bilds erkannt (insbesondere mittels der Bildverarbeitungseinheit, welche dazu entsprechende Methoden anwenden kann), und ein innerhalb des Bilds verdeckter Verkehrsteilnehmer wird durch bildbasierte Objekterkennungsmethoden mittels der Bildverarbeitungseinheit basierend auf dem erkannten Schatten erkannt. Im Rahmen der bildbasierten Objekterkennungsmethoden kann insbesondere eine klassische Klassifizierung zum Einsatz kommen, z.B. Adaboost, CNNs oder SfM.
-
Das erfindungsgemäße Verfahren ermöglicht durch eine aktive Erkennung von Schatten eine Detektion von Verkehrsteilnehmern, welche ansonsten gar nicht oder nur ungenau bzw. unsicher (z.B. mittels Radar-Bodenreflexions-Verfahren) detektiert werden können. Das erfindungsgemäße Verfahren kann beispielsweise auch in Surround-View-Systemen von Fahrzeugen eingesetzt werden.
-
Gemäß einer Ausführungsform wird weiterhin basierend auf einer erkannten Position des Schattens und einer ebenfalls aus dem Bild resultierenden Schätzung von Position und/oder Abstrahlrichtung einer oder mehrerer Lichtquellen mittels der bildbasierten Objekterkennungsmethoden eine Position des verdeckten Verkehrsteilnehmers erkannt, welcher den Schatten verursacht. Mit anderen Worten kann mittels der bildbasierten Objekterkennungsmethoden innerhalb des Bilds der Kamera ein erkannter Schatten lokalisiert werden. Basierend auf der ermittelten Position des Schattens innerhalb des Bilds und der geschätzten Eigenschaften von Lichtquellen kann auf die Position des verdeckten Verkehrsteilnehmers innerhalb des Bilds geschlossen werden. Diese Ausführungsform ermöglicht auf besonders einfache Art und Weise, basierend auf einem lokalisierten Schattenwurf innerhalb eines von der Kamera aufgenommenen Bilds einen verdeckten Verkehrsteilnehmer zu lokalisieren, welcher an sich in dem Bild gar nicht sichtbar ist. Gemäß der vorliegenden Erfindung ist somit insbesondere die Erkennung von Lichtquellen und derer Eigenschaften vorgesehen. Diese Information ermöglichen, von einem erkannten Schatten sinnvoll auf die Position des den Schatten werfenden Verkehrsteilnehmers schließen zu können. Befindet sich die Lichtquelle im Bild, so können grundsätzlich zu deren Detektion schon existierende Detektoren von Lichtquellen verwendet werden, wie sie etwa für HLA (Headlight-Assist), TLR (Traffic Light Recognition) und CB (Camera Blockage - Erkennung von Blendung) benutzt werden. Befindet sich die Lichtquelle jedoch außerhalb des Bildes, so können deren Position und Abstrahlrichtung geschätzt werden, z.B. anhand einer 3D-Rekonstruktion (über (Motion-) Stereo) von im Bild sichtbaren Objekten, die den Boden berühren, im Vergleich mit einem direkt an sie grenzenden Schatten.
-
Weiterhin kann eine Bewegung des verdeckten Verkehrsteilnehmers mittels bildbasierter Objekterkennungsmethoden erkannt werden, wobei eine Bewegung des verdeckten Verkehrsteilnehmers, welcher den Schatten verursacht, basierend auf einer erkannten Bewegung des Schattens und/oder der geschätzten Eigenschaften von Lichtquellen erkannt werden kann. Insbesondere kann mittels der bildbasierten Objekterkennungsmethoden eine Bildfolge, welche von der Kamera aufgenommen worden ist, dahingehend analysiert werden, ob und wie sich eine Position eines erkannten Schattens innerhalb der einzelnen Bilder der Bildfolge verändert. Basierend auf der erkannten Änderungen der Position des erkannten Schattens innerhalb der einzelnen Bilder der Bildfolge und der geschätzten Eigenschaften (Position, Abstrahlrichtung, Bewegung) von Lichtquellen kann darauf geschlossen werden, wie sich die Position des verdeckten Verkehrsteilnehmers innerhalb der einzelnen Bilder der Bildfolge verändert. Diese Ausführungsform ermöglicht auf besonders einfache Art und Weise, basierend auf Positionen eines Schattens innerhalb einer von der Kamera aufgenommenen Bildfolge eine Bewegung eines verdeckten Verkehrsteilnehmers zu ermitteln oder vorauszusagen, welcher an sich in der Bildfolge gar nicht sichtbar ist.
-
Gemäß einer weiteren Ausführungsform ist vorgesehen, dass das Erkennen des Schattens innerhalb des Bilds erfolgt, indem benachbarte Bildbereiche miteinander verglichen werden, wobei der Schluss gezogen wird, dass einer dieser Bildbereiche einen Schatten beinhaltet, sofern die Bildbereiche ähnliche oder gleiche Texturen aufweisen.
-
Weiterhin kann das Erkennen des Schattens innerhalb des Bilds erfolgen, indem benachbarte Bildbereiche miteinander verglichen werden, wobei der Schluss gezogen wird, dass einer dieser Bildbereiche einen Schatten beinhaltet, sofern dieser Bildbereich ein insbesondere deutlich in den Blaubereich verschobenes Farbspektrum im Vergleich zu dem anderen Bildbereich aufweist. Diese Ausführungsform liefert besonders gute Ergebnisse bei Tageslicht. Je klarer der Himmel, desto besser funktioniert der Blaulichtvergleich, da beschattete Bereiche in diesem Fall von ambientem Licht des blauen Himmels beleuchtet werden. In dem Forschungsartikel „Moving Object Detection and Shadow Removing under Changing Illumination Condition“ von Jinhai Xiang, Heng Fan, Honghong Liao, Jun Xu, Weiping Sun and Shengsheng Yu (Hindawi Publishing Corporation; Mathematical Problems in Engineering; Volume 2014, Article ID 827461, z.B. abrufbar im Internet unter https://dx.doi.org/10.1155/2014/827461) ist beispielsweise auf S. 2, Spalte 2, letzter Absatz, ein für die vorliegende Erfindung geeignetes Verfahren zur Erkennung einer Verschiebung eines Farbspektrums eines Bildbereichs in einen Blaubereich beschrieben. Dieser Forschungsartikel ist hiermit Teil der Offenbarung der vorliegenden Anmeldung (incorporated by reference).
-
Zur Prüfung, ob ein Bildbereich einen Schatten aufweist, kann weiterhin beispielsweise das sogenannte GMM (Gaussian Mixture Model) angewandt werden. Eine Beschreibung dieses und verschiedener weiterer für die vorliegende Erfindung geeigneter Verfahren zur Erkennung von Schatten ist z.B. beschrieben in dem bereits vorstehend zitierten Forschungsartikel „Moving Object Detection and Shadow Removing under Changing Illumination Condition“ (vgl. in diesem Artikel insbesondere S. 1, Sp. 2, Absatz 2 bis Sp. 2, Absatz 3; betreffend das GMM siehe insbesondere Kapitel 3 dieses Artikels).
-
Gemäß einer weiteren Ausführungsform ist vorgesehen, dass das Erkennen des Schattens innerhalb des Bilds erfolgt, indem benachbarte Bildbereiche miteinander verglichen werden, wobei der Schluss gezogen wird, dass einer dieser Bildbereiche einen Schatten beinhaltet, sofern die Helligkeit in dem anderen Bildbereich deutlich höher ist. Dazu kann insbesondere eine kontinuierlich statistisch ermittelte Helligkeit eines (unbewegten) Bildhintergrunds mit den relevanten Bereichen verglichen werden. Mit anderen Worten liegt an einer Grenze zwischen den beiden Bildbereichen ein insbesondere deutlicher Sprung der lokalen Helligkeit vor. Der Bildbereich, welcher keinen Schatten enthält, weist eine insbesondere deutlich höhere Helligkeit auf, als derjenige Bildbereich, welcher den Schatten enthält.
-
Weiterhin kann vorteilhaft vorgesehen sein, dass in Bildbereichen, welche einen Bodenbereich der äußeren Umgebung beinhalten, nach Schatten gesucht wird. Bodenbereiche können dabei beispielsweise über semantische Segmentierung oder den optischen Fluss in Kombination mit der Eigenbewegung identifiziert werden.
-
Gemäß einem zweiten Aspekt der Erfindung wird eine Vorrichtung zur indirekten Erkennung eines verdeckten Verkehrsteilnehmers bereitgestellt. Die Vorrichtung umfasst eine Kamera und eine Bildverarbeitungseinheit, wobei die Vorrichtung mittels der Kamera und der Bildverarbeitungseinheit dazu eingerichtet ist, ein Verfahren gemäß dem ersten Aspekt der Erfindung durchzuführen, wobei alle Verfahrensschritte durchgeführt werden, welche nach dem Bereitstellen der Kamera und der Bildverarbeitungseinheit vorgesehen sind.
-
Gemäß einem dritten Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, welches eine Vorrichtung gemäß dem zweiten Aspekt der Erfindung umfasst.
-
Gemäß einem vierten Aspekt der Erfindung wird ein Programmelement bereitgestellt, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte des Verfahrens gemäß dem ersten Aspekt der Erfindung durchzuführen, wobei alle Verfahrensschritte durchgeführt werden, welche nach dem Bereitstellen der Kamera und der Bildverarbeitungseinheit vorgesehen sind.
-
Gemäß einem fünften Aspekt der Erfindung wird ein computerlesbares Medium bereitgestellt, auf dem ein Programmelement gespeichert ist, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte des Verfahrens gemäß dem ersten Aspekt der Erfindung durchzuführen, wobei alle Verfahrensschritte durchgeführt werden, welche nach dem Bereitstellen der Kamera und der Bildverarbeitungseinheit vorgesehen sind.
-
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der schematischen Zeichnung näher erläutert. Hierbei zeigt
- 1 eine Seitenansicht eines Kraftfahrzeugs mit einem Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und
- 2 ein von einer Kamera der Vorrichtung nach 1 aufgenommenes Bild, welches einen durch einen verdeckten Verkehrsteilnehmer erzeugten Schatten auf einer Straße zeigt.
-
1 zeigt ein Fahrzeug 1 in Form eines Automobils. Das Fahrzeug 1 umfasst eine Vorrichtung 2 zur indirekten Erkennung eines verdeckten Verkehrsteilnehmers, wobei die Vorrichtung 2 wiederum einen bilderzeugenden Sensor in Form einer Kamera 3 und eine Bildverarbeitungseinheit 4 umfasst. Die Bildverarbeitungseinheit 4 kann insbesondere software-implementiert sein. In dem gezeigten Ausführungsbeispiel kann eine software-implementierte Bildverarbeitungseinheit 4 beispielsweise auf einer Speichereinheit der Kamera 3 hinterlegt sein.
-
Die Kamera 3 ist in einem Innenraum 5 des Fahrzeugs 1 angeordnet, und zwar insbesondere in einem Bereich hinter einer Windschutzscheibe 6 des Fahrzeugs 1. Andere Verbaupositionen bzw. Anordnungen sind jedoch grundsätzlich auch möglich - im Fall von Surround-View-Kameras kann die Kamera 3 beispielsweise auch außerhalb des Innenraums 5 angeordnet sein. Mittels der Kamera 3 können durch die Windschutzscheibe 6 eine oder mehrere Außenaufnahmen bzw. Bilder von einer äußeren Umgebung 7 des Fahrzeugs 1, insbesondere in einer Vorausrichtung des Fahrzeugs 1, aufgenommen werden, wobei im Falle mehrerer Außenaufnahmen (Bildfolge) die Außenaufnahmen zeitlich aufeinanderfolgend gemacht werden können.
-
2 zeigt ein beispielhaftes Bild 8, welches von der Kamera 3 aus 1 aufgenommen worden ist. Das Bild 8 enthält ein erstes parkendes Fahrzeug 9, ein zweites parkendes Fahrzeug 10 und ein drittes parkendes Fahrzeug 11. In dem Bild 8 parken die Fahrzeuge 9 bis 11 hintereinander auf einer rechten Seite einer Straße 12. Zwischen dem ersten Fahrzeug 9 und dem zweiten Fahrzeug 10 befindet sich ein Verkehrsteilnehmer in Form eines Fußgängers, welcher jedoch auf dem Bild 8 durch das erste Fahrzeug 9 verdeckt und somit nicht sichtbar ist. Allerdings wirft der verdeckte Verkehrsteilnehmer einen Schatten 13 auf die Straße 12 (Bodenbereich), welche von der Kamera 3 in dem Bild 8 erfasst ist. Auch die Fahrzeuge 9 bis 11 werfen Schatten auf die Straße 12. Auch diese Schatten sind in dem Bild 8 enthalten, in 2 jedoch aus Gründen der besseren Übersichtlichkeit nicht dargestellt.
-
Mittels der Bildverarbeitungseinheit kann der Schatten 13 innerhalb des Bilds 8 erkannt werden. Basierend auf dem erkannten Schatten 13 und/oder den geschätzten Eigenschaften (Position, Abstrahlrichtung) der hier nicht im Bild befindlichen Lichtquelle kann mittels der Bildverarbeitungseinheit durch Anwendung bildbasierter Objekterkennungsmethoden der innerhalb des Bilds 8 nicht sichtbare, verdeckte Verkehrsteilnehmer erkannt werden.
-
Der erkannte Schatten 13 kann mithilfe von bildbasierten Objekterkennungsmethoden (klassische Klassifizierung wie z.B. Adabost, CNNs, SfM etc.) auf eine Position und eine Bewegung des schattenwerfend Objektes, d.h. des verdeckten Verkehrsteilnehmers, analysiert werden.
-
Insbesondere kann mittels der Bildverarbeitungseinheit 4 der erkannte Schatten 13 durch Methoden der Bildverarbeitung analysiert werden, sodass basierend auf dem erkannten Schatten 13 und/oder den geschätzten Eigenschaften (Position, Abstrahlrichtung) der Lichtquelle darauf geschlossen werden kann, dass in dem vorliegenden Bild 8 ein verdeckter Verkehrsteilnehmer vorhanden ist, und in welcher Position sich der verdeckte Verkehrsteilnehmer zwischen dem ersten Fahrzeug 9 und dem zweiten Fahrzeug 10 befindet.
-
Der verdeckte Verkehrsteilnehmer kann beispielsweise die Absicht haben, die Straße 12 zu überqueren. Daher ist es sinnvoll, die Bewegung des verdeckten Verkehrsteilnehmers zu ermitteln. Dazu kann der Schatten 13 in einzelnen, nacheinander aufgenommenen Bildern einer durch die Kamera 3 aufgenommenen Bildfolge der äußeren Umgebung 7 des Fahrzeugs 1 erfasst und erkannt werden. Innerhalb der einzelnen Bilder der Bildfolge wird der erkannte Schatten 13 durch Methoden der Bildverarbeitung mittels der Bildverarbeitungseinheit 4 analysiert, und basierend auf den Ergebnissen der Analyse wird auf eine Bewegung des verdeckten Verkehrsteilnehmers geschlossen, insbesondere auf eine Bewegungsrichtung und Geschwindigkeit des verdeckten Verkehrsteilnehmers. Weiterhin kann basierend auf den Ergebnissen der Analyse auf eine Relation des verdeckten Verkehrsteilnehmers zu den Fahrzeugen 9 bis 11 innerhalb der einzelnen Bilder der Bildfolge geschlossen werden.
-
Der Schatten 13 kann insbesondere erkannt werden, indem durch die Bildverarbeitungseinheit 4 ermittelt wird, dass ein beschatteter Bereich 13 innerhalb des Bilds 8 eine ähnliche oder eine gleiche Textur aufweist wie ein nicht beschatteter Bereich 14 daneben.
-
Alternativ oder zusätzlich kann der Schatten 13 auch erkannt werden, indem mittels der Bildverarbeitungseinheit 4 festgestellt wird, dass der beschattete Bereich 13 ein deutlich in den Blaubereich verschobenes Farbspektrum aufweist im Vergleich zu einem nicht beschatteten Bereich 14, welcher unmittelbar neben dem beschatteten Bereich 13 innerhalb des Bilds 8 angeordnet ist.
-
Eine weitere Möglichkeit, den Schatten 13 zu erkennen, besteht darin, dass mittels der Bildverarbeitungseinheit 4 festgestellt wird, dass zwischen dem beschatteten Bereich 13 und dem angrenzenden nicht beschatteten Bereich 14 ein deutlicher Sprung der lokalen Helligkeit besteht.
-
Weiterhin kann insbesondere in einen Bodenbereich repräsentierenden Bereichen des Bilds 8, z.B. in Bereichen, welche die Straße 12 beinhalten, nach Schatten 13 gesucht werden.
