DE102012112724A1

DE102012112724A1 - Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten

Info

Publication number: DE102012112724A1
Application number: DE102012112724.7A
Authority: DE
Inventors: Bernd Hartmann
Original assignee: Continental Teves AG and Co OHG
Current assignee: Continental Teves AG and Co OHG
Priority date: 2012-12-20
Filing date: 2012-12-20
Publication date: 2014-06-26
Also published as: DE112013006175A5; US9676331B2; US20150224925A1; WO2014094766A1

Abstract

Die Erfindung betrifft ein Verfahren bzw. eine Vorrichtung zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten. Zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten ist eine Fusion von Daten aus mindestens einer Vorrichtung, die einen lokalen Fahrbahnzustand oder Reibwert misst, mit Daten einer Kamera (4) zur Erfassung einer vorausliegenden Fahrbahn (1) vorgesehen. Dazu können bei der Auswertung der Kamerabilddaten der lokal gemessene Fahrbahnzustand bzw. Reibwert unter Berücksichtigung von Odometrie- und Zeitinformationen einzelnen Bildbereichen eines Kamerabilds zugeordnet und zur Unterstützung und/oder Plausibilisierung bei einer vorausschauenden und ortsaufgelösten Reibwertschätzung bzw. Fahrbahnzustandsermittlung anhand von Kameradaten berücksichtigt werden.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten, insbesondere aus Kameradaten.
Die Erfassung oder Bestimmung des zwischen Reifen und Fahrbahn wirkenden Reibwerts bzw. die Erfassung des Fahrbahnzustands (z.B. trocken, nass, schneebedeckt und vereist), aus dem sich die Reibwertgruppe ableiten lässt, ist eine wichtige Voraussetzung, um den Fahrer in seiner Fahraufgabe zu unterstützen und so schwere Unfälle zu vermeiden oder deren Folgen abzuschwächen. Allgemein obliegt die Einschätzung der Straßenverhältnisse dem Fahrer, der seine Fahrweise darauf ausrichtet. Fahrzeugregelsysteme wie ESC (Electronic Stability Control) / TCS (Traction Control System) oder ABS (Antiblockiersystem) helfen ihm, das Fahrzeug im Grenzbereich zu stabilisieren, um so seiner Fahraufgabe in Extremsituationen leichter entsprechen zu können. Mit steigendem Automatisierungsgrad der Fahrerassistenz – bis hin zum hochautomatisierten bzw. autonomen Fahren – steigt die Bedeutung von Informationen zum Fahrbahnzustand beziehungsweise zum Reibwert kontinuierlich an. Typische Anwendungsfälle für die Fahrbahnzustands-/Reibwertinformationen sind

– Fahrerinformation
– Fahrerwarnung
– Festlegung der Eingriffszeitpunkte für Brems- und Lenkeingriffee bei Fahrrerassistenzsystemen und
– Anpassung von Fahrzeugsteuerungsfunktionen wie Bremse, Lenkung.

Die Unfallvermeidung gewinnt bei Fahrerassistenzsystemen zunehmend an Bedeutung. Notbrems- oder seit neuestem auch Notausweichsysteme leisten einen wichtigen Beitrag. Ihre Wirkung hängt jedoch entscheidend vom Reibwert des Untergrundes ab. Nässe, Schnee und Eis erniedrigen den zur Verfügung stehenden Reibwert zwischen Reifen und Fahrbahn gegenüber dem auf einer trockenen Fahrbahn zur Verfügung stehenden erheblich.
EP 792 228 B1 zeigt ein System zur Fahrstabilitätsregelung für ESP-(Electronic Stability Program)/ESC-Regelungen, mit dem in speziellen Situationen ein Reibwert ermittelt werden kann. Wenn mindestens ein Rad den Reibwert ausnutzt, z. B. beim Fahren auf einem glatten Untergrund, kann die Fahrzeugbremsenregelung den Reibwert aus dem Drehverhalten der Räder und den ESP/ESC-Beschleunigungssensoren bestimmen.
DE 102 56 726 A1 zeigt ein Verfahren zur Generierung eines Signals in Abhängigkeit von der Fahrbahnbeschaffenheit unter Verwendung eines Reflexionssignalsensors wie z.B. eines Radar- oder eines optischen Sensor. Dadurch wird eine vorausschauende Erfassung des Fahrbahnzustands in einem Kraftfahrzeug ermöglicht.
DE 10 2004 018 088 A1 zeigt ein Fahrbahnerkennungssystem mit einem Temperatursensor, einem Ultraschallsensor und einer Kamera. Die aus den Sensoren erhaltenen Fahrbahndaten werden gefiltert, mit Referenzdaten verglichen, um die Befahrbarkeit der Fahrbahn zu ermitteln, wobei die Fahrbahnoberfläche (z.B. Beton, Asphalt, Schmutz, Gras, Sand oder Kies) und deren Zustand (z.B. trocken, vereist, verschneit, nass) klassifiziert werden kann.
DE 10 2004 047 914 A1 zeigt eine Methode zur Einschätzung des Fahrbahnzustands, bei der Daten aus mehreren unterschiedlichen Sensoren, z.B. Kamera, Infrarotsensor, Regensensor bzw. Mikrofon fusioniert werden, um zu einer Klassifikation des Fahrbahnzustands zu gelangen, der ein Reibungswert zugeordnet werden kann.
DE 10 2008 047 750 A1 zeigt eine Bestimmung eines Kraftschlusses mit wenigen Sensoren, bei der Drehschwingungen eines Rads eines Fahrzeugs analysiert werden und auf Basis dieser Analyse ein Reibbeiwert abgeschätzt wird.
DE 10 2009 041 566 A1 zeigt ein Verfahren zur Ermittlung eines Fahrbahnreibwerts µ, bei dem eine erste ständig aktualisierte Reibwertkenngröße und eine zweite lediglich situationsbedingt aktualisierte Reibwertgröße zu einem gemeinsamen Reibschätzwert verknüpft werden.
WO 2011/007015 A1 zeigt ein laserbasiertes Verfahren zur Reibwertklassifikation in Kraftfahrzeugen. Signale eines Lidar- bzw. CV-Sensors, die auf die Fahrbahnoberfläche gerichtet sind, werden hierzu ausgewertet und anschließend wird insbesondere anhand der Amplitude der vermessenen Fahrbahnoberfläche ein Reibwert zugeordnet. Es kann beispielsweise geschätzt werden, ob Schnee, Asphalt oder Eis die Fahrbahnoberfläche bilden.
WO 2012/110030 A2 zeigt ein Verfahren und eine Vorrichtung zur Reibwertschätzung mittels einer 3D-Kamera, z.B. einer Stereokamera. Mit der 3D-Kamera wird mindestens ein Bild von der Umgebung des Fahrzeugs aufgenommen. Aus den Bilddaten der 3D-Kamera wird im gesamten Fahrzeugvorfeld ein Höhenprofil der Straßenoberfläche erstellt. Aus dem Höhenprofil wird der zu erwartende lokale Reibwert der Straßenoberfläche im Fahrzeugvorfeld geschätzt.
Die automatische Erfassung der Fahrbahnzustandsinformationen ist ein Schlüsselelement auf dem Weg zum autonomen Fahren in der Zukunft. Die bekannten Verfahren weisen jedoch Nachteile auf. Einerseits ist die Verfügbarkeit der Informationen sehr eingeschränkt (ESC), anderseits sind die Sensoren und Algorithmen noch nicht hinreichend präzise (Kamera, IR-Sensoren, Radar) oder die Robustheit des Systems reicht für Sicherheitssysteme bei Weitem nicht aus (Raddrehschwingungsanalyse, Stereokamera).
Ansatzpunkt der erfindungsgemäßen Lösung sind folgende Überlegungen: die nach dem Stand der Technik ermittelten Reibwertinformationen sind i.d.R. nicht für beliebige Fahrbahnabschnitte gültig.
Während direkt messende Systeme zwar sehr genau messen können, ist es ihnen aber nicht möglich, vorausschauend zu arbeiten. Gutes Beispiel sind Fahrzeugregelsysteme wie ESC, ABS bzw. TCS, die ja quasi direkt in der Aufstandsfläche (bzw. im Footprint) des Reifens über das Schlupf- und Einlaufverhalten am Reifen den Reibwert bestimmen. Auch optische Sensoren z.B. im Nahinfrarot sind technologiespezifisch nur sehr bedingt in der Lage Informationen ausreichend vorausschauend zu liefern, da der Winkel zur Fahrbahn nicht beliebig spitz werden darf. Beiden Systemen und im Übrigen auch der Raddrehzahlanalyse ist gemein, dass sie den Fahrbahnzustand nur lokal bestimmen können.
Andere Systeme, wie insbesondere Kamera-/Videosysteme, können den Fahrbahnzustand nur indirekt, z.B. durch eine Klassifikation bestimmen, und sind deshalb verfahrensbedingt weniger präzise als direkt messende Systeme. Systeme mit einem Erfassungsbereich mit einer Tiefe von einigen bis mehreren Metern (z.B. 1m–20m, 2m–100m, 5m–200m je nach Kameraauslegung) und mit einer Breite, die ausreichend zur Erkennung der Fahrbahnoberfläche ist, sind aber aufgrund ihrer eigentlichen Anwendung als Umgebungssensor bzw. Frontkamera zur flächendeckenden Fahrbahnvorausschau besonders gut geeignet.
Ein erfindungsgemäßes Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten sieht eine Fusion von Daten aus mindestens einer Vorrichtung (bzw. eines Sensors), die am Fahrzeug und/oder insbesondere am oder unmittelbar vor mindestens einem Fahrzeugrad bzw. -reifen einen lokalen Reibwert misst bzw. Fahrbahnzustandsinformationen ermittelt, mit Daten einer Kamera bzw. eines die vorausliegende Fahrbahn erfassenden Fahrzeugumgebungssensors mit größerer Reichweite. Dazu kann bei der Auswertung der Kamerabilddaten der lokal gemessene Fahrbahnzustand respektive Reibwert bzw. die lokale Fahrbahnzustandsinformation unter Berücksichtigung von Odometrie- und Zeitinformationen einzelnen Bildbereichen eines Kamerabilds zugeordnet und zur Unterstützung und/oder Plausibilisierung bei einer vorausschauenden und ortsaufgelösten Reibwertschätzung oder Fahrbahnzustandsermittlung anhand von Kameradaten berücksichtigt werden.
Unter Odometrieinformationen werden hierbei Informationen verstanden, die eine Bewegung des Fahrzeugs charakterisieren und insbesondere Fahrzeugsensorikdaten wie Messgrößen eines Fahrwerks, eines Antriebsstrangs, einer Lenkung sowie Messgrößen einer Navigationsvorrichtung des Fahrzeugs umfassen. Zusammen mit den Zeitinformationen ist somit eine zurückgelegte Bewegung bzw. Trajektorie des Fahrzeugs ermittelbar oder in Kombination mit der Umfeldsensorik auch eine zukünftige Trajektorie vorhersagbar bzw. prädizierbar.
Insbesondere kann während der Fahrt ein begrenzter Fahrbahnabschnitt, der zunächst nur von der Kamera erfasst und dessen Fahrbahnzustand bzw. Reibwert aus Kamerabildern geschätzt wird, nachträglich gemessen werden, wenn er vom lokal messenden Sensor überfahren wird. Mit diesem gemessenen Reibwert bzw. dieser ermittelten Fahrbahnzustandsinformation können nun vorausliegende Fahrbahnabschnitte eingeschätzt werden, bei denen eine Bildauswertung zu ähnlichen oder identischen Ergebnissen führt wie beim ursprünglichen begrenzten Fahrbahnabschnitt (in vorherigen Kamerabildern).
Der Reibwert, auch Reibbeiwert, Kraftschlussbeiwert, (Haft-)Reibungszahl oder Reibungskoeffizient gibt an, welche Kraft zwischen einer Fahrbahnoberfläche und einem Fahrzeugreifen (z.B. in Tangentialrichtung) maximal übertragen werden kann und ist somit ein wesentliches Maß für den Fahrbahnzustand. Neben dem Fahrbahnzustand sind Eigenschaften des Reifens zu einer vollständigen Bestimmung des Reibwerts erforderlich. Für eine Schätzung des Reibwerts z.B. aus Kamerabilddaten werden typischerweise nur Fahrbahnzustandsinformationen berücksichtigt, da im Allgemeinen aus Kamerabilddaten keine Reifeneigenschaften ermittelt werden können.
Mit anderen Worten werden lokal den Reibwert bzw. Fahrbahnzustand bestimmende Systeme wie ESC (inkl. ABS/TCS) oder eine Raddrehschwingungsanalyse (beide auf Basis des Raddrehzahlsignals) und/oder optische Sensoren (z.B. Infrarot-/Lasersensoren) zur Bestimmung der Fahrbahnoberfläche bzw. Messung des lokalen Reibwerts mit der Kamera/Videosensorik zur flächendeckenden Vorausschau derart fusioniert, dass die diskreten Messpunkte der lokal messenden Vorrichtung auf Basis von Odometrie- und Zeitinformationen, also z.B. auf Basis der Fahrzeugbewegung im Kamerabild, verfolgt werden können und somit zur Unterstützung und Plausibilisierung der Kameraalgorithmen den einzelnen Bildbereichen (bzw. Fahrbahnabschnitten) gut zuzuordnen sind.
Das erfindungsgemäße Verfahren zur Bestimmung des Fahrbahnzustands gewährleistet eine sehr präzise, hochauflösende und vor allem vorausschauende Ermittlung des ortsaufgelösten Fahrbahnzustands bzw. Reibwerts. Gegenüber vorbestimmten Klassifikationsmethoden einer Fahrbahnzustands-/Reibwertschätzung aus Kamerabilddaten allein erweist sich das erfindungsgemäße Verfahren als besonders anpassungsfähig, da die tatsächlich gemessenen lokalen Reibwerte bzw. ermittelten lokalen Fahrbahninformationen aufgrund der Zuordnung zu den aktuellen Kamerabilddaten das Verfahren weitgehend resistent gegenüber Störeinflüssen bei der Kameraerfassung machen. Dadurch können die Sicherheitssysteme des Fahrzeugs prädiktiv und situativ auf Fahrbahnzustände vorbereitet oder der Fahrer informiert bzw. gewarnt werden.
In einer vorteilhaften Ausführungsform nimmt die Bildauswertung eine Zuordnung von einem lokal gemessenen Reibwert zu einem Fahrbahnabschnitt in mindestens einem Kamerabild vor, wenn die Berücksichtigung von Odometrie- und Zeitinformationen ergibt, dass der Fahrbahnzustand/Reibwert dieses Fahrbahnabschnitts nachträglich lokal gemessen worden ist. Ein Fahrbahnabschnitt kann aus dem Kamerabild insbesondere durch eine Segmentierung ermittelt werden, wobei die Segmentierung vorzugsweise Segmente mit einem vergleichbaren Fahrbahnzustand liefert. Aus den Odometrie- und Zeitinformationen kann ermittelt werden, welcher Fahrbahnabschnitt aus einem Kamerabild nachträglich überfahren worden ist und welcher lokale Reibwert dabei gemessen bzw. welcher lokale Fahrbahnzustand dabei ermittelt wurde.
Bevorzugt sieht die Bildauswertung eine Klassifikation einzelner Fahrbahnabschnitte in Kamerabildern anhand bestimmter Merkmale vor. Die bestimmten Merkmale können insbesondere vorgegebenen Fahrbahnzuständen zugeordnet sein. Der ermittelte Fahrbahnzustand (z.B. trocken, nass, schneebedeckt, vereist) ist ein Indikator für den verfügbaren Reibwert zwischen Reifen und Fahrbahn. Einem nachträglich lokal gemessenen Reibwert bzw. lokal ermittelten Fahrbahnzustand kann nun eine Klasse an Fahrbahnabschnitten (in denen derselbe Fahrbahnzustand aus dem Kamerabild ermittelt worden war) zugeordnet werden. Dadurch gelingt eine vorausschauende Reibwertschätzung für alle Fahrbahnabschnitte, die dieser Klasse zugeordnet sind.
Gemäß einer vorteilhaften Ausführungsform wird das Kamerabild in der Fahrbahnebene in ein zweidimensionales Gitternetz unterteilt und der mindestens eine gemessene lokale Reibwert bzw. Fahrbahnzustand mindestens einer Zelle des Gitternetzes zugeordnet. Dazu kann eine Repräsentation der durch von der Kamera abgebildeten Fahrbahnoberfläche erstellt werden, die Abstände auf der Fahrbahnoberfläche maßstäblich wiedergibt, z.B. aus der Vogelperspektive darstellt. Hierbei würden die Gitterlinien des Gitternetzes in einer Richtung (horizontal oder vertikal) jeweils einen festen Abstand zueinander aufweisen. Alternativ könnte dazu ein Gitter über das Kamerabild gelegt werden, das die perspektivische Verzerrung der Fahrzeugumgebung (und Fahrbahn) durch die Kamera widerspiegelt.
Dadurch könnte der Inhalt einer jeden Gitterzelle jeweils einem gleich großen Abschnitt der Fahrbahn in realen Abständen entsprechen.
Bevorzugt richtet sich die Anzahl der Zellen, in die das Gitternetz unterteilt wird, nach der Homogenität der Fahrbahn bzw. der Fahrbahnoberfläche insbesondere im Kamerabild. Erscheint die Fahrbahnoberfläche im Kamerabild weitgehend homogen, können weniger Gitterzellen verwendet werden als bei einer inhomogenen Fahrbahnoberfläche. Unterschiedliche Fahrbahnbeläge, Pfützen, Schneeflächen, Laub können Ursache für inhomogene Fahrbahnoberflächen sein, bei denen mit dem Fahrbahnzustand der Reibwert sehr schnell wechseln kann.
Vorteilhaft richtet sich die Anzahl der Zellen, in die das Gitternetz unterteilt wird, nach der aktuellen Fahrsituation und/oder deren Kritikalität. In kritischen Fahrsituationen kann eine höhere Anzahl von Zellen zu einer noch präziseren ortsaufgelösten Fahrbahnzustands-/Reibwertschätzung aus dem Kamerabild eingesetzt werden. Dadurch kann z.B. die Bremsensteuerung für ein Notbremsmanöver unter Berücksichtigung von lokalen Fahrbahnzustands-/Reibwertänderungen optimiert werden.
Des Weiteren kann sich die Anzahl der Zellen, in die das Gitternetz unterteilt wird, nach der verfügbaren Rechenleistung richten, die zur Bildauswertung zur Verfügung steht.
Unter Umständen kann die Anzahl der Zellen auf 1 reduziert werden, in aller Regel ist jedoch eine Mehrzahl von Zellen für das Gitternetz vorzusehen, um eine Ortsauflösung zu ermöglichen.
Gemäß einer bevorzugten Ausführungsform wird das Ergebnis der Auswertung der Kameradaten unter Berücksichtigung der dem Kamerabild zugeordneten Fahrbahnzustands-/Reibwertmessdaten anschließend prädiktiv auf ein nachfolgend erfasstes Kamerabild angewendet. Die Zuordnung erfolgt bevorzugt anhand von Zellen mit gleichen oder ähnlichen Merkmalen bezüglich des Fahrbahnzustands. Insbesondere kann dabei einzelnen Zellen, die einer gemeinsamen Klasse angehören, ein Fahrbahnzustand bzw. Reibwert zugeordnet werden, die aus einem lokal gemessenen Reibwert bzw. einem lokal ermittelten Fahrbahnzustand bestätigt oder plausibilisiert wurde.
Vorteilhaft wird aus einer prädizierten Bewegungstrajektorie des Fahrzeugs ein Fahrschlauch berechnet, mittels dem sich die Positionen der einzelnen lokal messenden Sensoren und der Räder des Fahrzeugs prädiktiv vor dem Fahrzeug liegenden Fahrbahnabschnitten im Kamerabild, also insbesondere einzelnen Zellen eines Gitternetzes, zuordnen lassen. Die Bewegungstrajektorien des Fahrzeugs können in an sich bekannter Weise aus Fahrzeugsensor- und/oder Umfeldsensordaten (Kamera, Radar, Lidar etc.) prädiziert werden.
Vorteilhaft werden einzelne Fahrbahnabschnitte bzw. Gitterzellen mit einer Klassenwahrscheinlichkeit belegt. Beispielsweise kann angegeben werden, dass eine Zelle zu 80% Klasse 1 zuzuordnen ist, zu 20% einer anderen Klasse. Dadurch kann auch der Tatsache Rechnung getragen werden, dass innerhalb einer Zelle tatsächlich unterschiedliche Beschaffenheitsbereiche vorliegen können. Z.B. können 60% eines Zelleninhalts eine nasse Fahrbahn darstellen, während 40% trocken sind.
Bevorzugt wird als Kamerasensor eine monokulare Kamera verwendet. Monokameras sind als Fahrerassistenzkameras etabliert und preisgünstiger als Stereokameras.
Gemäß einer vorteilhaften Ausführungsform wird als Kamerasensor eine Stereokamera verwendet. Eine Stereokamera bietet gegenüber einer Monokamera eine räumliche Auflösung zu den Bilddaten. Je nach Anforderung können beide oder nur eines der beiden Bilder zur Fahrbahnzustands- bzw. Reibwertschätzung ausgewertet werden.
In einer bevorzugten Ausgestaltung wird als lokal messende Vorrichtung bzw. Sensor exklusiv oder zusätzlich zu weiteren ein optischer Sensor verwendet. Der optische Sensor ist bevorzugt auf die Fahrbahnoberfläche gerichtet und kann die dreidimensionale Form der Fahrbahnoberfläche lokal ermitteln, woraus der Fahrbahnzustand abgeleitet bzw. ein Reibwert geschätzt werden kann. Alternativ können auch Ultraschall- oder Radarsensoren als derartige lokale Messvorrichtungen verwendet werden, solange sie die dreidimensionale Form der Fahrbahnoberfläche lokal ermitteln können.
In einer besonders vorteilhaften Ausführungsform wird als lokal messende Vorrichtung exklusiv oder zusätzlich zu weiteren mindestens eine Messvorrichtung verwendet, die aus den Drehzahlsignalen eines Fahrzeugrads (R1–R4) Reibwerte misst und/oder ableitet. Aus dem Raddrehzahlsignal können Reifenschlupf und Reifenschwingung analysiert werden, woraus eine Klassifikation des Reibwerts vorgenommen werden kann. Eine derartige Analyse des Schwingungsverhaltens des Reifens, aus dem ein Anregungsspektrum durch die Fahrbahn ermittelt wird, welches mit dem Reibwert korreliert, kann z.B. DE 10 2008 047 750 A1 entnommen werden. Auch ABS/ESC/TCS-Systeme, die aus den Drehzahlsignalen einzelner Fahrzeugräder durch eine Analyse von Schlupfeinläufen maximale Reibwerte messen bzw. ableiten können, können als derartige Messvorrichtung verwendet werden.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Bestimmung eines Fahrbahnzustands. Die Vorrichtung umfasst eine Kamera, mindestens eine Vorrichtung, die dazu ausgebildet ist, einen lokalen Reibwert zu messen bzw. einen lokalen Fahrbahnzustand zu ermitteln, und eine Kameradatenauswertungsvorrichtung. Letztere ist dazu ausgebildet, den lokal gemessenen Reibwert/Fahrbahnzustand bei der Kameradatenauswertung zu berücksichtigen. Die Kameradatenauswertungsvorrichtung ist dazu ausgebildet, den lokal gemessenen Reibwert bzw. Fahrbahnzustand unter Berücksichtigung von Odometrie- und Zeitinformationen einzelnen Bildbereichen eines Kamerabilds zuzuordnen und zur Unterstützung und/oder Plausibilisierung bei einer vorausschauenden und ortsaufgelösten Reibwertschätzung oder Fahrbahnzustandsermittlung anhand von Kameradaten berücksichtigen zu können.
Im Folgenden wird die Erfindung anhand von Figuren und Ausführungsbeispielen näher erläutert.
Es zeigen:
1 ein Kamerabild einer vorausliegenden Fahrzeugumgebung;
2 eine Repräsentation der durch das Kamerabild wiedergegeben Szene aus der Vogelperspektive;
3 eine Unterteilung eines Ausschnitts der Repräsentation in Zellen mittels eines Gitternetzes, in dem einzelne Zellen klassifiziert sind. und
4 ein Fahrzeug mit lokal messenden Sensoren in einem Gitternetz, in dem einzelne Zellen klassifiziert sind.
1 zeigt beispielhaft ein Kamerabild einer vorausliegenden Fahrzeugumgebung, wie es von einer Frontkamera eines fahrenden Fahrzeugs aufgenommen worden ist. Aus demselben Bild können kamerabasierte Fahrerassistenzfunktionen realisiert werden, z.B. eine Spurverlassenswarnung (LDW, Lane Departure Warning), eine Spurhalteunterstützung (LKA/LKS, Lane Keeping Assistance/System), eine Verkehrszeichenerkennung (TSR, Traffic Sign Recognition), eine automatische Fernlichtsteuerung (IHC, Intelligent Headlamp Control), eine Kollisionswarnung (FCW, Forward Collision Warning), eine Niederschlagserkennung, eine automatische Längsregelung (ACC, Adaptive Cruise Control), eine Einparkunterstützung, automatische Notbrems- oder Notlenksysteme (EBA, Emergency Brake Assist oder ESA, Emergency Steering Assist). Das Kamerabild zeigt eine Fahrbahn (1), deren Oberfläche weitgehend homogen ist. Auf der Oberfläche sind Fahrspurmarkierungen zu erkennen: jeweils eine durchgezogenen Seitenlinie, die das linke und rechte Ende der Fahrbahn markieren sowie Mittelliniensegmente (3) der unterbrochenen bzw. gestrichelten mittleren Fahrbahnmarkierung. Die Fahrbahn (1) könnte aus Asphalt oder Beton gebildet sein. Auf der Fahrbahn (1) ist eine Pfütze (2) zu erkennen.
2 zeigt eine Repräsentation der durch das Kamerabild in 1 wiedergegebenen Szene aus einer Vogelperspektive betrachtet. Diese Repräsentation kann aus dem Kamerabild ermittelt werden, wobei bei einer Monokamera vorzugsweise Abbildungseigenschaften der Kamera (4), die Einbaugeometrie der Kamera im Fahrzeug (5), der tatsächlichen Fahrzeughöhe (aufgrund der Reifenstands-/Fahrwerksteuerung), Nick-, Gier- und/oder Rollwinkel berücksichtigt werden. Es kann die Annahme getroffen werden, dass die Fahrbahnoberfläche eben ist. Bei einer Stereokamera ist die Repräsentation aufgrund der erfassten 3D-Bilddaten unmittelbar ermittelbar, wobei auch hierbei weitere Aspekte berücksichtigt werden können. Die Repräsentation ist im Wesentlichen dadurch gekennzeichnet, dass dort Abstände tatsächlichen Abständen entsprechen. So sind die gezeigten Mittelstreifensegmente auch auf der realen Fahrbahn äquidistant angeordnet.
Auf der in 2 dargestellten Repräsentation sind die Fahrbahn (1), die Pfütze (2) und die Mittelliniensegmente (3) der Fahrbahnmarkierung zu erkennen, die bereits im Kamerabild (1) enthalten sind. Zusätzlich ist in der Repräsentation ein Fahrzeug (5) mit einer Kamera (4) enthalten, wobei mit der Kamera (4) das Bild aus 1 aufgenommen worden ist. Der gestrichelte Pfeil gibt die prädizierte Trajektorie (T) des Fahrzeugs (5) an. Bei dieser Geradeausfahrt kann der zurückgelegte Weg s entlang der Trajektorie (T) im Falle einer gleichförmigen Bewegung mit der Geschwindigkeit v unter Berücksichtigung der Information über die Zeit t bestimmt werden aus s = vt. Auf diese Weise kann unter Berücksichtigung der Odometrie- und Zeitinformationen bestimmt werden, wann z.B. das linke Vorderrad des Fahrzeugs (5) die Pfütze (2) erreichen wird. Nicht dargestellt sind in diese Repräsentation die lokalen Reibwertmessvorrichtungen des Fahrzeugs (5), die lokal – also im Wesentlichen unter dem Fahrzeug – den Fahrbahnzustand und/oder den Reibwert zwischen Reifen und Fahrbahnoberfläche (1) messen können. Derartige Vorrichtungen können optische Sensoren (6) sein, die auf die Fahrbahnoberfläche (1) gerichtet sind, insbesondere Infrarot- oder Lasersensoren, oder Vorrichtungen wie ESC, die lokal an den Rädern den verfügbaren Reibwert ermitteln oder die aus einer Analyse eines Raddrehzahlsignals einen Reibwert ableiten.
3 zeigt wie ein Gitter (G) über einen Teil der Repräsentation aus 2 gelegt wird. Dadurch wird die Repräsentation in einzelne Zellen unterteilt. Durch eine Klassifikation können einzelnen Gitterzellen einzelne Klassen zugeordnet werden, die eine Information über den Fahrbahnzustand bzw. den Reibwert beinhalten. Im vorliegenden Beispiel sind die Zellen der Klasse K1 zugeordnet, in denen trockener Asphalt die Fahrbahn bildet. Die Zellen, in denen nasser Asphalt vorkommt, sind der Klasse K2 zugeordnet. Zellen, in denen ein anderer Untergrund vorkommt, können der Klasse Kn zugeordnet werden. Eine simple Klassifikation besteht zum Beispiel in einer Einteilung der Fahrbahnabschnitte in die vier Klassen trockener Asphalt (K1), nasser Asphalt (K2), Schnee und Eis. Allgemeiner können n Klassen K1 bis Kn vorgesehen werden, die z.B. unterschiedlichen Fahrbahnmaterialien (Asphalt, Beton, Sand, Kies, etc.) und verschiedenen Kondensatzuständen (z.B. trocken, nass, Schnee, Eis) Rechnung tragen können. Unter den n Klassen kann auch eine Restklasse vorgesehen sein für Fahrbahnabschnitte, die keiner der übrigen (vorgegebenen) Klassen zugeordnet werden können. Die Anzahl an Gitterzellen bzw. die Größe einer einzelnen Zelle des Gitters (G) kann variiert werden. Wenn die Fahrbahnoberfläche im Kamerabild weitgehend homogen erscheint, wie es hier im Bereich der Fahrbahn (1) außerhalb der Pfütze (2) der Fall ist, können weniger Gitterzellen verwendet werden als bei einer insgesamt inhomogenen Fahrbahnoberfläche oder im Bereich der Pfütze (2). Unterschiedliche Fahrbahnbeläge, Pfützen (2), Schneeflächen, Laub können Ursache für inhomogene Fahrbahnoberflächen sein, bei denen der Reibwert sehr schnell wechseln kann.
In kritischen Fahrsituationen kann ebenso eine höhere Anzahl von Zellen zu einer noch präziseren ortsaufgelösten Fahrbahnzustands-/Reibwertschätzung aus dem Kamerabild eingesetzt werden. Dadurch kann z.B. die Bremsensteuerung für ein Notbremsmanöver unter Berücksichtigung von lokalen Reibwertänderungen optimiert werden. Schließlich kann sich die Anzahl der Zellen des Gitters (G) nach der verfügbaren Rechenleistung richten, die zur Bildauswertung zur Verfügung steht.
4 zeigt eine gitterbasierte Zuordnung von lokalen Reibwertmessdaten zu klassifizierten Fahrbahnabschnitten bzw. Gitterzellen. Wie anhand von 3 erläutert, erfolgt durch eine Bildauswertung mittels Bildverarbeitungsalgorithmen zunächst eine Klassifikation der einzelnen Zellen anhand bestimmter Merkmale. Daraus ergeben sich Klassenwerte (K1 bis Kn) für die vor dem Fahrzeug liegenden Zellen. In 4 liegt beispielsweise eine Fahrbahnsituation vor, die der in 2 und 3 dargestellten vergleichbar ist. Die meisten Zellen sind der Klasse K1 zugeordnet, während ein 2×2 Block von Zellen der Klasse K2 zugeordnet ist. Während also der Kameraauswertung und Klassifikation die Information entnommen werden kann, dass eine Pfütze bzw. ein zusammenhängender nasser Bereich (2) auf ansonsten trockener Fahrbahn (1) vorausliegt, kann diesen Klassen (K1, K2, ...) nicht ohne weiteres Wissen (Durchschnittswerte, Erfahrungswerte etc.) ein tatsächlicher Fahrbahnzustand/Reibwert zugeordnet werden. Die trockene Fahrbahn (1) könnte aus griffigem oder glattem Asphalt gebildet sein. Die Pfütze (2) könnte flach oder tief sein, aus Wasser oder aus Öl gebildet etc. Diese Ungewissheit kann durch eine Messung des Fahrbahnzustands/Reibwerts mittels eines lokalen Sensors des Fahrzeugs (5) ausgeräumt werden. Das dargestellte Fahrzeug (5) verfügt über einen optischen Sensor (6) und vier Messvorrichtungen, die aus den Drehzahlsignalen jeweils eines der vier Fahrzeugräder (R1–R4) Reibwerte ableiteten bzw. messen als lokale Sensoren. Diese lokalen Sensoren messen einen aktuellen Fahrbahnzustand/Reibwert, der jeweils der Zelle des Gitters (G) zugeordnet werden kann, innerhalb welcher der lokale Sensor den Fahrbahnzustand/Reibwert misst. In 4 sind das die Zellen, in denen der optische Sensor (6) misst und in denen jeweils ein Rad (R1–R4) mit der Fahrbahn (1) in Kontakt ist. Die Verknüpfung zwischen den Klassen K1 bis Kn und den lokalen Messwerten erfolgt über Odometrie- und Zeitdaten. Die Klasseneinteilung auf Basis der Kameradaten kann nun odometriegestützt bei Überfahrt des Fahrzeugs mit den Ergebnissen der lokalen Sensoren mit den Ergebnissen der Kameraklassifikation in den jeweiligen Zellen fusioniert werden. In 4 war z.B. die Zelle, in der der optische Sensor (6) den Fahrbahnzustand/Reibwert misst der Klasse K1 (trockener Asphalt) zugeordnet. Aufgrund des Messwerts kann dieser Klasse erstmals ein Reibwert bzw. Fahrbahnzustand zugeordnet werden oder ein vorab geschätzter Fahrbahnzustand/Reibwert für diese Klasse (K1) kann als fusionierter Fahrbahnzustand/Reibwert (K1) plausibilisiert, korrigiert oder validiert werden. In den Zellen links des linken (R3) und rechten (R4) Hinterrads war bereits bei der Überfahrt ein entsprechender fusionierter Reibwert bzw. Fahrbahnzustand (K1) ermittelt worden. In gleicher Weise kann ein Messwert für die Klasse K2 (nasser Asphalt) erhalten werden in der Zelle, in der sich das vordere rechte Fahrzeugrad (R2) befindet, indem die Messvorrichtung aus dem Drehzahlsignal des vorderen rechten Fahrzeugrads (R2) den Fahrbahnzustand/Reibwert ableitet bzw. misst und daraus ein fusionierter Reibwert bzw. Fahrbahnzustand (K2) für die Klasse K2 bestimmt wird. Die Zuordnung dieser Zelle zur Klasse K2 war bereits in einem zuvor aufgenommenen Kamerabild erfolgt. Und aufgrund der Odometrie- und Zeitdaten wird ermittelt, ob und wann die lokalen Sensoren im Bereich dieser klassifizierten Zellen messen. Die so gewonnenen Fusionsergebnisse werden anschließend wiederum prädiktiv auf das aktuell vorausschauende Kamerabild angewendet und hier den entsprechenden Klassen der einzelnen Zellen zugeordnet. Alternativ ist es möglich, aus der prädizierten Bewegungstrajektorie (T) des Fahrzeugs (5) den zukünftigen Fahrschlauch zu berechnen. Auch dies ist in 4 dargestellt. Ausgehend vom aktuellen Kamerabild lässt sich z.B. abschätzen, dass der optische Sensor (6) den Fahrbahnzustand/Reibwert in den Zellen messen können wird, durch die die gestrichelte Trajektorie (T) verläuft. Wann das der Fall sein wird, lässt sich aus den Odometrie- und Zeitdaten bestimmen. Bei einer gleichförmigen Bewegung mit einer konstanten Winkelgeschwindigkeit ω entlang einer Kreisbahn mit Radius r bestimmt sich der während einer Zeit t zurückgelegte Weg s zu s = rωt. Damit lassen sich die Positionen des optischen Sensors (6) und der einzelnen Räder (R1–R4) des Fahrzeugs (5) prädiktiv den vor dem Fahrzeug liegenden Zellen mit ihren Merkmalen präzise zuordnen. So ist zu erkennen, dass in zwei Zellen, die der Klasse K2 zugeordnet sind, in nächster Zeit der optische Sensor (6) den Fahrbahnzustand/Reibwert messen können wird und somit ein fusionierter Reibwert (K2) für die Klasse 2 verfügbar sein wird: nämlich in der dritten und vierten Zelle rechts der Zelle mit dem optischen Sensor (6).
Bezugszeichenliste

1: Fahrbahn bzw. Fahrbahnoberfläche
2: Pfütze
3: Mittelliniensegment
4: Kamera
5: Fahrzeug
6: Optischer Sensor zur lokalen Fahrbahnzustandsbestimmung
T: (Bewegungs-)Trajektorie
G: Gitter bzw. Gitternetz
K1: Klasse 1
K2: Klasse 2
Kn: Klasse n
K1: fusionierte Reibwertschätzung für Klasse 1
K2: fusionierte Reibwertschätzung für Klasse 2
R1: linkes Vorderrad
R2: rechtes Vorderrad
R3: linkes Hinterrad
R4: rechtes Hinterrad

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 792228 B1 [0004]
DE 10256726 A1 [0005]
DE 102004018088 A1 [0006]
DE 102004047914 A1 [0007]
DE 102008047750 A1 [0008, 0036]
DE 102009041566 A1 [0009]
WO 2011/007015 A1 [0010]
WO 2012/110030 A2 [0011]

Claims

Verfahren zur Bestimmung eines Fahrbahnzustands aus Kameradaten, wobei Daten aus mindestens einer Vorrichtung, die einen lokalen Fahrbahnzustand oder Reibwert misst, mit Daten einer Kamera (4) fusioniert werden, dadurch gekennzeichnet, dass bei der Auswertung der Kameradaten der lokal gemessene Fahrbahnzustand oder Reibwert unter Berücksichtigung von Odometrie- und Zeitinformationen einzelnen Bildbereichen eines Kamerabilds zugeordnet und zur Unterstützung und/oder Plausibilisierung bei einer vorausschauenden und ortsaufgelösten Reibwertschätzung oder Fahrbahnzustandsermittlung anhand von Kameradaten berücksichtigt werden kann.
Verfahren nach Anspruch 1, wobei die Bildauswertung eine Zuordnung des lokal gemessenen Fahrbahnzustands oder Reibwerts zu mindestens einem Fahrbahnabschnitt in einem Kamerabild vornimmt, wenn die Berücksichtigung von Odometrie- und Zeitinformationen ergibt, dass der Fahrbahnzustand oder Reibwert dieses Fahrbahnabschnitts nachträglich lokal gemessen worden ist.
Verfahren nach Anspruch 1 oder 2, wobei die Bildauswertung eine Klassifikation (K1, K2, ..., Kn) einzelner Bildbereiche oder Fahrbahnabschnitte in einem Kamerabild anhand bestimmter Merkmale vorsieht.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Kamerabild in der Fahrbahnebene in ein zweidimensionales Gitternetz (G) unterteilt wird und der mindestens eine lokal gemessene Fahrbahnzustand oder Reibwert einer Zelle des Gitternetzes (G) zugeordnet wird.
Verfahren nach Anspruch 4, wobei sich die Anzahl der Zellen, in die das Gitternetz (G) unterteilt wird, nach der Homogenität der Fahrbahn (1) richtet.
Verfahren nach Anspruch 4 oder 5, wobei sich die Anzahl der Zellen, in die das Gitternetz (G) unterteilt wird, nach der aktuellen Fahrsituation und/oder deren Kritikalität richtet.
Verfahren nach einem der Ansprüche 4 bis 6, wobei sich die Anzahl der Zellen, in die das Gitternetz (G) unterteilt wird, nach der für das Verfahren verfügbaren Rechenleistung richtet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Ergebnis der Auswertung der Kameradaten unter Berücksichtigung des dem Kamerabild zugeordneten lokal gemessenen Fahrbahnzustands oder Reibwerts anschließend prädiktiv auf ein nachfolgend erfasstes Kamerabild angewendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei aus einer prädizierten Bewegungstrajektorie (T) des Fahrzeugs (5) ein Fahrschlauch berechnet wird, mittels dem sich die Positionen der einzelnen Räder (R1–R4) des Fahrzeugs (5) und/oder eines lokal messenden Sensors prädiktiv Fahrbahnabschnitten im Kamerabild zuordnen lassen, die vor dem Fahrzeug liegen.
Verfahren nach einem der Ansprüche 3 bis 9, wobei einem Bildbereich oder Fahrbahnabschnitt Wahrscheinlichkeitswerte zugeordnet werden, die angeben, mit welcher Wahrscheinlichkeit der Bildbereich oder Fahrbahnabschnitt einer ersten Klasse und mindestens einer zweiten Klasse zuzuordnen ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als Kamera (4) eine Monokamera verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 10, wobei als Kamera (4) eine Stereokamera verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als lokal messende Vorrichtung ein Sensor oder ein optischer Sensor (6) verwendet wird, der die dreidimensionale Form der Fahrbahnoberfläche lokal ermittelt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als lokal messende Vorrichtung mindestens eine Messvorrichtung verwendet wird, die aus den Drehzahlsignalen eines Fahrzeugrads (R1–R4) einen lokalen Reibwert misst und/oder ableitet.
Vorrichtung zur Bestimmung eines Fahrbahnzustands umfassend eine Kamera (4), mindestens eine Vorrichtung, die dazu ausgebildet ist, einen lokalen Fahrbahnzustand oder Reibwert zu messen, und eine Kameradatenauswertungsvorrichtung, die dazu ausgebildet ist, den lokal gemessenen Fahrbahnzustand oder Reibwert bei der Kameradatenauswertung zu berücksichtigen, dadurch gekennzeichnet, dass die Kameradatenauswertungsvorrichtung ferner dazu ausgebildet ist, den lokal gemessenen Fahrbahnzustand oder Reibwert unter Berücksichtigung von Odometrie- und Zeitinformationen einzelnen Bildbereichen eines Kamerabilds zuzuordnen und zur Unterstützung und/oder Plausibilisierung bei einer vorausschauenden und ortsaufgelösten Reibwertschätzung oder Fahrbahnzustandsermittlung anhand von Kameradaten berücksichtigen zu können.