Aufgabenstellung Bachelorarbeit
Thema
Video-basierte Fahrspurerkennung von mobilen Robotern
Problemstellung
Auf der Projektfläche „Autonomes Fahren“ des Instituts für Konstruktionselemente, Mechatronik und Elektromobilität (IKME) der Hochschule Hannover ist eine große urbane Kreuzung im Maßstab 1:18 nachgebildet. Hier sollen in Zukunft automatisierte Logistikkonzepte mit mobilen Roboterfahrzeugen entwickelt und getestet werden. Die Roboter sind jeweils mit einer nach vorne gerichteten Videokamera ausgerüstet. Um die Fahrzeuge damit sicher steuern zu können, soll damit eine zuverlässige Fahrspurerkennung benötigt.
Aufgabe der Arbeit
Ziel der Arbeit ist es, eine echtzeitfähige Erkennung der Fahrspurmarkierungen aus dem Video-Bilddatenstrom zu realisieren und die Position der
Markierungen relativ zum Fahrzeug anzugeben. Im eine geometrisch richtige Darstellung zu erhalten, soll zunächst eine Bestimmung der intrinsischen und
extrinsischen Kamera-Kalibrierung durchgeführt werden. Mit den so bestimmten intrinsischen Parametern so dann eine Rektifizierung der Bilder
durchgeführt werden.
Auf den rektifizierten Bildern soll dann die eigentlich Erkennung der Spurmarkierungen erfolgen. Dies kann a) kanten-basiert oder b) mit tiefen
neuronalen Netzen erfolgen. Die extrinsische Kalibrierung soll dann genutzt werden, um die Position der Markierungen in Fahrzeug-Koordinaten
umzurechnen. Zusätzlich kann die Farbinformation des Bildes genutzt werden um zwischen weißen und gelben Linien zu unterscheiden.
Gegebenenfalls kann auch das zeitliche Tracking eines Spurmodells umgesetzt werden.
Die Bildverarbeitung sollte unter ROS auf der Jetson-nano Hardware unter ROS in Echtzeit lauffähig sein. Eine erste Implementierung kann mit Python erfolgen. Für den längerfristigen Einsatz wäre eine Umsetzung in C++ mit ROS Nodelets wünschenswert.
Umgehen mit dem Repository
Das Repository basiert auf dieser Vorlage. Dort befindet sich alle notwendige Dokumentation.
Es wird sowohl der LaTeX-Quellcode, als auch die fertige PDF unter Versionskontrolle gestellt. Um die PDF selbst zu erzeugen, folgenden Befehle verwenden:
make
Design
Farbpalette
- Rot
#B71C1C
- Blau
#0D47A1
- Grün
#1B5E20
- Gelb
#F57F17
ideen:
- Performance daten (CPU-Auslastung, Rechenzeit, etc.) mit echten Daten/Plot in die Arbeite aufnehmen
- evtl. Videobeispiel mit live überlagertem Ergebnis (vor allem für Kolloc)
- Quellen für Stand der Technik:
Todo
- Paarbildung (finden von rechter+linker Kante einer Linie) -> Mittellinien
- Transformation in Weltkoordinate
- C++ Implementierung
- Laufzeitmessung
- Schreiben!