<html><head><meta name="color-scheme" content="light dark"></head><body><pre style="word-wrap: break-word; white-space: pre-wrap;">\chapter{Stand der Technik} \label{chap: stand der technik}

	\section{Techniken zur Fahrspurerkennung}

		Das Thema Fahrspurerkennung beschäftigt die Wissenschaft und auch die Automobilindustrie bereits seit einigen Jahren. Im Folgenden möchte ich
		daher die existierenden üblichen Ansätze zu diesem Thema erläutern. Dabei ist besonders interessant, wie diese in diese Arbeit einfließen.


		\subsection{Geometrische und algorithmische Ansätze}

			Bei den klassischen und ältesten Methoden wird an die Thematik mit mathe\-ma\-tisch-geo\-me\-trisch\-en Ansätzen herangegangen. Diese
			werden zu Algorithmen verknüpft, um unterschiedliche Informationen herauszuarbeiten, zu verknüpfen und das Ergebnis zu verfeinern.

			Grundlage bilden hierbei verschiedene Operationen, mit welchen sich Bilder verändern lassen. Solche Operationen verknüpfen eine bestimmen
			menge an Pixeln eines Ursprungsbildes mittels einer mathematischen Operation, um ein neues \gls{Pixel} für das Zielbild zu ermitteln. Ein
			relativ simples Beispiel hierfür ist das Bilden eines Mittelwertes von jeweils drei Farbpixeln, um ein Schwarzweißbild zu erzeugen.

			% Häufig kommen bei diesen Operationen sogenannten \gls{Kernel} zum Einsatz. Dabei handelt es sich um Matrizen, welche je nach Anwendung
			% Werte enthalten. Um nun ein \gls{Pixel} des Zielbildes zu bestimmen, wird ein entsprechender Bildausschnitt im Ursprungsbild ausgewählt und
			% jeder \gls{Pixel} mit einem Element des \glspl{Kernel} verrechnet. Danach wird die Ergebnis Matrix zum neuen Wert für das Zielpixel zusammen
			% gefasst, häufig durch simples Summieren. Auf diese weise werden zum Beispiel viele Filterfunktionen umgesetzt.

			% Der für diese Arbeit relevante \gls{gauss-filter} verwendet einen \gls{Kernel}, dessen Werte um den Kernel-Mittelpunkt Normalverteilt
			% sind. Dieser wird für jeden \gls{Pixel} mit der entsprechend großen \gls{Pixelnachbarschaft} multipliziert und aufsummiert. Dadurch wird
			% der gewichtete Mittelwert aller Nachbarpixel gebildet und das Bild geglättet.

			Der sehr grobe Ablauf, welcher solche Operationen zu einem Algorithmus verknüpft, ist in \autoref{fig: genersich} skizziert. Dabei sind
			die Einzelschritte in der Realität jedoch häufig sehr kompliziert. Begonnen wird eigentlich immer mit einem Vorbereitung-Schritt, da die
			Bilder einer Kamera nur selten direkt verwendet werden können. Teilweise ist eine solche Vorverarbeitung aber auch Hardwareseitig oder in
			vorgelagerten Programmteilen umgesetzt. Meisten wird das Bild außerdem in ein Schwarzweißbild umgewandelt, da so nur ein Drittel der
			Pixel untersucht werden müssen, was die Performance verbessert.

			\begin{figure}
				\includegraphics[scale=.85]{svg/PAP_generisch_markerdetektion.pdf}
				\caption{Generischer Ablauf von Fahrspurerkennung (nach \cite{laneDetection:aReview})}
				\label{fig: genersich}
			\end{figure}

			Bei den sogenannten Features handelt es sich um spezifische, möglichst eindeutige Muster im Bild. Im Fall von Fahrspurmarkierungen sind
			dies eigentlich immer Kannten und Ecken ebendieser. Häufig wird hier der \gls{canny} eingesetzt, der von John Canny in
			\cite{Canny:computationAlapproachEdgeDetection} entwickelt wurde. Dieser Algorithmus ist sehr gut zum Identifizieren von Kantenpixeln
			geeignet und erzeigt ein Binärbild, in dem nur noch ein \gls{Pixel} dicke Umrisse verbleiben.

			Das genaue Vorgehen um Features zu finden und zu verknüpfen, hängt von der Methode ab. In \cite{laneDetection:aReview} werden verscheiden
			Möglichkeiten die Hough Transformation zu verwenden miteinander verglichen und \cite{assistanceSystem:laneDetection-vehicleRecognition}
			verwendet zusätzlich eine Methode zum Kombinieren von einzelnen Liniensegmenten. \cite{robustLaneMarkingDetection} demonstriert einen
			Ansatz, um direkt Mittellinien von Fahrspurmarkierungen anhand von bekannten Größenparametern abzuleiten.

			Das Ergebnis kann durch das Einbeziehen weiterer Informationen noch weiter verbessert werden. Oft wird hier  das originale
			Farbbild mit einbezogen (siehe \cite{laneDetection:aReview}), aber auch das Zurückgreifen auf das vorherige Bild, wie in
			\cite{LaneDetection_basedOnRidge} eingesetzt, ist möglich.

			\medskip
			Da diese Techniken bereits langfristig erprobt und daher sehr stark optimiert sind, eignen sie sich besonders gut für den Einsatz in
			dieser Arbeit. Auch der gezeigte Ablauf wird in dieser Arbeit so angewendet.

			Insbesondere die gezeigten Methoden des \gls{canny} werden später noch einmal aufgegriffen. Die in vielen Quellen erwähnte Hough
			Transformation wurde aber bereits im Voraus als zu rechenintensiv ausgeschlossen.


		\subsection{Deep Learning Ansätze}

			Alternativ zu den traditionellen Ansätzen gibt es die neuen Deep Learning Methoden. Hier werden sogenannte \emph{Convolutional Neural
			Networks} (kurz \emph{CNN}) verwendet. Diese Netzwerke bestehen aus mehreren Schichten, welche von einem Eingangsbild nacheinander
			durchlaufen werden.

		\todo[inline]{
			Was ist das? \\
			Warum hier nicht? \\
			Was ist ungeeignet?
		}

	% \section{Lochkamera Modell} \label{sec: pinhole model}

	% 	\begin{align} \label{eq: camera}
	% 			\begin{pmatrix}
	% 				u \\ v \\ 1
	% 			\end{pmatrix}
	% 			&amp;=
	% 			\begin{pmatrix}
	% 				f_x &amp; 0 &amp; c_x \\
	% 				0 &amp; f_y &amp; c_y \\
	% 				0 &amp;   0 &amp;   1 \\
	% 			\end{pmatrix}
	% 			\begin{pmatrix}
	% 				r_{11} &amp; r_{12} &amp;r_{13} &amp; t_1 \\
	% 				r_{21} &amp; r_{22} &amp;r_{23} &amp; t_2 \\
	% 				r_{31} &amp; r_{32} &amp;r_{33} &amp; t_3 \\
	% 			\end{pmatrix}
	% 			\begin{pmatrix}
	% 				x \\ y \\ z \\ 1
	% 			\end{pmatrix}
	% 			\\
	% 			p &amp;= K \cdot T[RT] \cdot
	% 	\end{align}


	\section{OpenCV} \label{sec: opencv}

		Das Open-Source-Projekt \gls{OpenCV} (kurz für \emph{Open Source Computer Vision Library}) ist eine Sammlung von Softwaremodulen, die der
		Bildverarbeitung und dem maschinellen Lernen dienen. Sie verfügt über mehr als 2500 optimierte Algorithmen mit denen Anwendungen wie
		Objekterkennung, Bewegungserkennung und 3D-Modell Extraktion erstellt werden können. Daher ist sie eine der Standardbibliotheken, wenn es um
		digitale Bildverarbeitung geht und wird fast immer zur Demonstration neuer Konzepte benutzt. Da sie sowohl in C/\gls{C++}, Java und Python
		genutzt werden kann, ist sie außerdem sehr vielseitig und hat den Vorteil, dass Konzepte in einer abstrakten Sprache wie \gls{python} getestet
		werden und später relativ simple in eine hardwarenahe Programmiersprache übersetzt werden können. Weitere Informationen sind in der
		Dokumentation des Projektes \cite{OpenCV:homepage} zu finden.

		In dieser Arbeit wird diese Bibliothek daher insbesondere für die Entwicklungsphase verwendet. Da der Bibliothekskunde jedoch auch viele
		potenziell nicht benötigte Zusatzfunktionen mit bring, wird auch ein wechsel auf eine eigene Implementierung mit besserer Performance in
		Betracht gezogen.


	\section{Das Robot Operating System} \label{sec: ros}

		Das \glslink{ROS}{Robot Operating System} (kurz: ROS) ist eine Sammlung von Software Bibliotheken und Werkzeugen, die zum Erstellen von Roboter
		Applikationen dienen. Es bietet eine eigene Paketverwaltung über die bestehende Bibliotheksfunktionen für die Verwendung
		heruntergeladen werden können. Dabei handelte es sich um  verschiedenste Anwendungen, angefangen Treibern, über fertige, direkt anwendbare
		Algorithmen, bis zu nutzernahen Steueroberflächen und sogar (Lern-)Spiele. Die Webseite des Projektes \cite{ROS:homepage} bietet hierzu
		weitere Informationen. Außerdem bietet \gls{ROS} Integrationen mit anderen bestehenden Projekten, wie zum Beispiel \gls{OpenCV}.

		Auch wenn es sich bei \gls{ROS} genaugenommen um kein vollständiges Betriebssystem handelt, stellt es für ein solches typische
		Funktionalitäten zur Verfügung. Beispiele hierfür sind Hardware-Abstraktion, tiefgehende Geräteverwaltung, Verwaltung von Prozessen sowie
		Informationsweitergabe zwischen diesen und die eben genannte Paketverwaltung und damit verbundene Abstraktion von generischen, allgemein
		benötigten Funktionen. \cite{ROS:whatsROS}

		\medskip
		Für diese Arbeit ist \gls{ROS} deshalb interessant, da sich die Ergebnisse so modular an potenzielle weitere Prozesse weitergeben lassen. Dies
		wird durch \gls{ROS}\todo{ROS's ??} Fähigkeit möglich, Einzelprozesse als sogenannte \glslink{ROS Node}{ROS Nodes} zu erstellen. Jede
		\gls{ROS Node} kann eigene Informationen als sogenannte \glspl{Topic} veröffentlichen und andere, parallel laufende \glspl{ROS Node} können
		diese abonnieren.

		Sobald eine Information in einem Prozess bereit ist, verpackt dieser sie in einem der definierten Datentypen als sogenannte \gls{ROS Message}.
		Diese wird dann veröffentlicht und an alle Abonnenten des \glspl{Topic} verschickt. Diese können dann bei erhalt der \gls{ROS Message} auf
		diese reagieren.

		So lassen einzelne Komponenten dieser Arbeit abgekapselt voneinander umsetzen und stellen ihre Ergebnisse auf potenziellen, später noch
		entwickelten Prozessen zur Verfügung.


	\section{Der JetBot Roboter} \label{sec: JetBot}

		Beim in für diese Arbeit verwendeten Roboter handelt es sich um einen JetBot v2.1 von der Firma Sparkfun. Im Folgenden werden seine
		Komponenten und Einsatzmöglichkeiten für diese Arbeit näher beschrieben.

		Der Roboter verwendet das von Nvidia produzierte Jetson Nano Entwicklerboard \cite{jetson-nano:homepage}. Hierbei handlet es sich um einen
		Mini-Computer der speziell für Bildverarbeitung und Selbstlehrende Algorithmen entwickelt wurde. Es verfügt über einen 4-Kern ARM Prozessor
		als CPU sowie, neben herkömmlichen Anschlüssen für PC-Peripherie, über Anschlüsse für 2 Kameras und mehre GPIO Pins. Dadurch eignet es sich
		bereits sehr gut für eingebettet Anwendungen.

		Was dieses Board für die Anwendung in der Bildverarbeitung aber besonders interessant mach, ist die integrierte, für die Größe leistungsstarke
		GPU. Diese kann für grafikintensive Anwendungen, aber vor allem für das Arbeiten mit Neuralen Netzen genutzt werden. Da für diese Arbeit
		explizit nicht mit Deep Learning gearbeitet wird, um diese Ressourcen für spätere Weiterentwicklung freizuhalten, ist dieses Feature aber
		hier uninteressant.

		Die Firma Sparkfun bietet für dieses Board den Bausatz \cite{jetbot:Sparkfun} an, um einen selbstfahrenden Roboter zu bauen. Dieser wird für
		diese Arbeit verwendet. Er stattet das Board mit einer Kamera, zwei steuerbaren Motoren, einem LCD-Display und einer Batterie aus. Der fertig
		aufgebaute Roboter ist in \autoref{fig: JetBot} zu sehen.

		\begin{figure}
			\includegraphics[width=.6\textwidth]{img/jetbot_sparkfun.jpg}
			\caption{SparkFun JetBot AI Kit V2.1 \cite{jetbot:Sparkfun}}
			\label{fig: JetBot}
		\end{figure}

		Für diese Arbeit wird der Roboter als funktionstüchtig und einsatzbereit vorausgesetzt. Die Aufbauanleitung ist aber unter
		\cite{jetbot:Sparkfun} und die Anleitung zum Einrichten unter \cite{jetbot:docs} zu finden.

		Zusätzlich wird ein fertiger Kameratreiber vorausgesetzt. Dieser wurde als \gls{ROS Node} mit dem Namen \lstinline{camera_driver} unter ROS
		implementiert und stellt alle $0,2\,\s$ ein aktuelles Bild auf dem \gls{Topic} \lstinline{/img/raw} zur Verfügung.


		\subsection{Performance Baseline} \label{sub: performance baseline}

			Da die Leistungsfähigkeit des JetBots relativ eingeschränkt ist und eines der Ziele dieser Arbeit lautet, parallel zu anderen, zukünftigen
			Prozessen laufen zu können, ist es wichtig möglichst Performant zu arbeiten. Daher wird ermittelt, wie sehr der JetBot vor Beginn dieser
			Arbeit bereits ausgelastet ist.

			Begonnen wird mit der Grundleistung ohne irgendwelche laufenden Prozesse unter \gls{ROS}. Das bedeutet, das nur das Betriebssystem und
			seine Standard-Applikationen, wie zum Beispiel der SSH-Server, laufen. Dazu wird das Terminalprogramm \lstinline{jtop} verwendet, welches
			viele Systeminformationen und Performance-Messwerte gesammelt anzeigt. Ein Screenshot ist in \autoref{fig: jtop baseline} gezeigt.

			\begin{figure}
				\includegraphics[width=.6\textwidth, trim={0 0 12px 31px}, clip]{img/jtop_baseline.png}
				\caption{CPU Auslastung des JetBots ohne \gls{ROS}}
				\label{fig: jtop baseline}
			\end{figure}

			Da alle in dieser Arbeit entwickelten Programme lediglich die CPU benutzen, ist dies der einzige relevante Messwerte. Trotze sind die
			anderen Werte interessant und werden mit dokumentiert. Wie man im Screenshot sieht, ist das System in diesem Fall kaum belastet. Die
			Auslastung ohne irgendwelche laufenden Prozesse liegt bei $\approx8.25\,\percent$.

			Relevanter ist aber der Fall mit laufender Kamera, da dies die Voraussetzung für diese Arbeit ist. Wird die Kamera-\gls{ROS Node}
			gestartet und erneut \lstinline{jtop} überprüft, ergibt sich die in \autoref{fig: jtop cam baseline} gezeigte Screenshot.

			\begin{figure}
				\includegraphics[width=.6\textwidth, trim={0 0 12px 31px}, clip]{img/jtop_camera.png}
				\caption{CPU Auslastung mit laufender Kamera und ROS-Core}
				\label{fig: jtop cam baseline}
			\end{figure}

			Dort ist die CPU-Auslastung deutlich höher und liegt bei $\approx38\,\percent$. Es ist allerdings zu beachten, dass dies nicht
			ausschließlich auf die Kamera-\gls{ROS Node} zurückzuführen ist. Um überhaupt \glslink{ROS Node}{ROS Nodes} benutzen zu können, muss das
			sogenannte ROS Core gestartet sein. Diese geschieht automatisch beim Starten der ersten Node. Es ist für den Großteil der zusätzlichen
			Auslastung verantwortlich, sodass zusätzliche \glspl{ROS Node} die Auslastung nur geringfügig erhöhen werden.


	% \section{Aufgebaute Anlage} \label{sec: anlgae}
</pre></body></html>