Das Assistenzsystem Protera 4

© Continental AG

PRORETA 4: Continental und TU Darmstadt entwickeln maschinell lernendes Fahrerassistenzsystem

  • Drei Anwendungsbeispiele in einem Fahrzeug: Assistenzsystem hilft beim Linksabbiegen, beim Einfahren in den Kreisverkehr sowie beim Passieren von Rechts-vor-Links-Kreuzungen
  • Das System passt sich dabei an den Fahrstil des Fahrers an, berücksichtigt Aufmerksamkeit und Verhalten des Fahrers und gibt entsprechende Empfehlungen

Frankfurt am Main, 17. Oktober 2018. Das Technologieunternehmen Continental und die Technische Universität Darmstadt haben in der vierten Auflage des Forschungsprojekts PRORETA ein maschinell lernendes Fahrzeugsystem entwickelt, das Autofahrer in innerstädtischen Verkehrssituationen unterstützt, und dieses in einen Prototypen eingebaut. Daten von Radarsensoren helfen bei der Einschätzung der Verkehrslage beim Linksabbiegen, Einfahren in einen Kreisverkehr oder beim Passieren von Rechts-vor-Links-Kreuzungen. Eine Schlüsselrolle in dem dreieinhalbjährigen Forschungsprojekt spielte das Thema maschinelles Lernen. Algorithmen erstellen auf Basis unterschiedlicher Fahrzeugdaten ein stets aktuelles Fahrtypprofil der Person hinter dem Lenkrad. Auf dieser Grundlage werden die Empfehlungen des Stadtassistenten (City Assistant System) für Fahrmanöver an den Fahrstil des Fahrers angepasst.

Maschinelles Lernverfahren wertet Fahrzeugdaten aus

Die Aufgabenstellung des PRORETA-Projekts war komplex. „In der Zusammenarbeit unserer Fachgebiete mit Continental haben wir uns mit PRORETA 4 vorgenommen, über lernfähige Systeme Lösungen zu verwirklichen, die wegen fehlender Anpassungsfähigkeit bisher nicht angegangen wurden. Die Ergebnisse unserer Arbeit werden dabei helfen, die Sicherheit im Fahrzeug und für andere Verkehrsteilnehmer weiter zu erhöhen“, sagt Prof. Dr. Hermann Winner, Leiter des Fachgebiets Fahrzeugtechnik der TU Darmstadt. Damit ein Assistenzsystem in einer komplexen Verkehrssituation eine Empfehlung an den Fahrer ausgeben kann, die von diesem akzeptiert wird – den Fahrer quasi wie ein guter Beifahrer kennt – muss das System dessen Fahrstil und damit auch dessen subjektives Sicherheits- oder Risikoempfinden analysieren. Ein solches Fahrprofil entsteht sicher und schnell auf Basis eines maschinellen Lernverfahrens. Dafür wertet das System Daten aus, die während der Fahrt erfasst werden. Dem Algorithmus geben unter anderem Beschleunigung, Gierraten, Bremsvorgänge und Querbeschleunigung Aufschluss, um welchen Fahrertyp es sich handelt.

Das entwickelte und in einen Prototypen eingebaute System unterstützt Autofahrer in innerstädtischen Verkehrssituationen. © Continental AG

​​​​​​​

Künstliche Intelligenz mit zunehmender Bedeutung in Fahrzeugen

Umfangreiche Testfahrten mit Probanden ergaben, dass bei den im City Assistant System eingesetzten Algorithmen innerhalb von drei bis fünf Fahrmanövern Rückschlüsse auf den aktuellen Fahrstil des Fahrers möglich sind. Damit ist die Zuordnung des Fahrers zu einem oder auch mehreren Clustern von Fahrprofilen möglich, wodurch sich die Fahrempfehlungen des Stadtassistenten stark personalisieren lassen.

Maschinell gelernte Algorithmen halten immer stärkeren Einzug in Fahrzeugsysteme. Schätzungen zufolge wird die im Jahr 2015 vorhandene Anzahl von sieben Millionen Fahrzeugsystem-Einheiten, die sich künstlicher Intelligenz bedienen, bis 2025 auf 225 Millionen Einheiten anwachsen. Bei leistungsfähigen maschinell gelernten Algorithmen handelt es sich zumeist um Modelle mit hoher Komplexität, die in ihrer Rohform durch den Menschen nur wenig oder gar nicht interpretierbar sind, ähnlich einer Black Box. Dies stellt besondere Herausforderungen an die Absicherung der Assistenzsysteme. Bereits im Rahmen der Algorithmenauswahl für Fahrerassistenzsysteme ist deshalb eine Absicherungsstrategie mitentwickelt worden. Bei PRORETA 4 wurden verschiedene Verfahren zur Reduzierung der benötigten Anzahl von Testfällen für gelernte Algorithmen herausgearbeitet, die weiter erforscht werden.

Das City Assistant System erkennt, ob eine Lücke im Verkehr groß genug ist  

„Der Autofahrer soll Vertrauen in das City Assistant System und dessen Empfehlungen entwickeln können. Vertrauen ist die Basis für die Akzeptanz von Assistenzsystemen, die wiederum ein wesentlicher Bestandteil auf dem Weg zum unfallfreien Fahren sind“, sagt Ralph Lauxmann, Leiter Systems & Technology der Division Chassis & Safety bei Continental.  Anhand des Fahrprofils steuert das System die Zeitfenster für Fahrempfehlungen, etwa beim Linksabbiegeassistenten. Dieses ermittelt anhand der eigenen Positionsdaten sowie Tempo und Abstand des entgegenkommenden Verkehrs, wie groß die Lücken im Gegenverkehr für einen Linksabbiegevorgang sind. Die Aufgabe der Objektdetektion übernehmen ein serienreifer Fernbereichsradar sowie Nahbereichsradare in den Fahrzeugseiten, die heute in vielen Assistenzsystemen bereits im Einsatz sind, etwa bei der intelligenten Geschwindigkeitsregelung Adaptive Cruise Control oder der Überwachung des toten Winkels.

© Continental AG
Das Assistenzsystem hilft beim Linksabbiegen. Eine Schlüsselrolle beim System spielt dabei maschinelles Lernen. © Continental AG

Keine Unterstützung benötigt der Fahrer bei extrem großen Lücken im Gegenverkehr – sondern nur dann, wenn das notwendige Zeitfenster für sicheres Abbiegen kritisch ist oder es für den Fahrer schwierig wird, dieses abzuschätzen. Das kann bei Nacht oder schlechter Sicht der Fall sein, oder auch bei unerfahrenen oder älteren Autofahrern. Bei starkem Verkehr reduziert das City Assistant System den Stress bei der Lückenfindung und informiert den Fahrer, wenn eine passende Lücke kommt. Versuchsfahrten im Rahmen von PRORETA 4 ermittelten ein Zeitfenster von fünf bis sieben Sekunden, in denen das System mit Empfehlungen Hilfestellung geben kann. Der untere Wert mit kleineren Lücken im Gegenverkehr gilt dabei für etwas dynamischere, der obere Wert für sehr defensive Fahrer. In beiden Fällen ist für den aktuellen Fahrer gewährleistet: Der Abbiegevorgang kann sicher abgeschlossen werden.

© ContinentalAG
Das Assistenzsystem hilft beim Einfahren in den Kreisverkehr und passt sich dabei an den Fahrstil des Fahrers an, berücksichtigt Aufmerksamkeit und Verhalten des Fahrers und gibt entsprechende Empfehlungen. © Continental AG

Das gleiche Prinzip gilt auch für den zweiten Einsatzbereich: die Einfahrt in einen Kreisverkehr. Auch in diesem Fall ermittelt das System auf Basis der Fahrzeug- und Umfeldsensorik, ob eine Verkehrslücke groß genug ist und ob es angesichts des ermittelten Fahrerprofils sinnvoll ist, die Einfahrt in den Kreisverkehr zu empfehlen oder besser auf eine größere Lücke zu warten.

Die Fahrempfehlung kann auf unterschiedlichen Wegen gegeben werden. „Assistenzsysteme deren Warnungen nicht als nützlich empfunden werden, werden von Autofahrern oftmals als störend empfunden, ignoriert oder gar abgeschaltet. Deshalb unterstützen wir den Ansatz des sich-anpassenden Assistenzsystems mit einem speziellen Interaktionskonzept. Optische, akustische oder auch haptische Signale zeigen dabei die Empfehlungen für den Fahrer möglichst intuitiv an“, sagt Dr. Karsten Michels, Leiter Systems & Technology in der Division Interior bei Continental. Am auffälligsten ist die optische Anzeige mit einem großen grünen oder roten Pfeil. Aber auch ein Vibrieren in der Sitzflanke oder andere haptische Signale sind konfigurierbar.

Die Innenraumkamera erkennt, ob der Fahrer die Verkehrssituation erfasst hat

Eine weitere komplexe Aufgabenstellung ergibt sich für den Stadtassistenten bei Rechts-vor-Links-Kreuzungen. Hier erkennt das System zunächst anhand von Karten-, GPS- und selbst ermittelten Standortdaten, dass sich der Fahrer einer solchen Kreuzung nähert. Mithilfe der Innenraumkamera analysiert das System, ob der Fahrer ankommenden Verkehr, dem Vorfahrt zu gewähren ist, erkannt hat. Dabei prüft das System, ob der Fahrer unmittelbar vor der Kreuzung tatsächlich den Kopf nach rechts in die Kreuzung gewendet und einen anderen Verkehrsteilnehmer fixiert hat; diese Fixierung dauert 250 bis 500 Millisekunden. Bei gefährlicheren Situationen kann das System den Fahrer mittels eines Signals aufmerksam machen. Auch ob der Fahrer korrekt gehandelt hat, wird festgestellt und kann diesem über eine nachträgliche Meldung mitgeteilt werden. In einer serienreifen Version könnte der City Assistant für die beschriebenen Einsatzbereiche um eine Notbremsfunktion erweitert werden.

© Continental AG
Das Assistenzsystem hilft beim Passieren von Rechts-vor-Links-Kreuzungen. Eine Innenraumkamera erkennt, ob der Fahrer die Verkehrssituation erfasst hat. © Continental AG

Genaue Positionsermittlung durch selbst ermittelte Landmarken

Je genauer die Position des eigenen Fahrzeugs bekannt ist, desto verlässlicher können Fahrerassistenzsysteme in komplexen Verkehrssituationen Entscheidungen treffen. Bestandteil von PRORETA 4 war deshalb auch ein kamerabasiertes System für die automatische Kartierung von Landmarken. Das können markante Punkte an Gebäuden oder die Infrastruktur sein. Diese Landmarken werden später von der Fahrzeugkamera wiedererkannt, womit eine exaktere Lokalisierung des Fahrzeugs möglich ist als bei GPS- oder Navigationsdaten. Bei diesem Langzeit-SLAM-Verfahren (Simultaneous Localization and Mapping) werden auf häufiger befahrenen Strecken Landmarken erkannt, bewertet und in einem Datenspeicher im Fahrzeug abgelegt. Damit ist auf diesen Strecken eine Positionserkennung möglich, die eine Genauigkeit von unter einem Meter hat.

© Continental AG

Die Historie der PRORETA-Projekte von Continental und TU Darmstadt

Das erste PRORETA-Projekt (2002 bis 2006) befasste sich mit der Notbrems- und Notausweich-Assistenz auf vorausfahrenden oder stehenden Verkehr. In PRORETA 2 (2006 bis 2009) wurde die Überholassistenz zur Vermeidung von Unfällen mit entgegenkommendem Verkehr auf Landstraßen untersucht. PRORETA 3 (2011 bis 2014) konzentrierte sich auf die Entwicklung eines Integralkonzeptes zur Automation und Unfallvermeidung.

Kontakt

Sören Pinkow

Sören Pinkow Externe Kommunikation Division Chassis & Safety Telefon: +49 69 7603-8492 E-Mail:

Alena Liebram

Alena Liebram Externe Kommunikation Division Interior Telefon: +49 6196 87 -2521 E-Mail:

Jörg Feuck Leiter Stabstelle Kommunikation und Medien Technische Universität Darmstadt Telefon: +49 6151 16 20018 E-Mail: