ma_code
Dieses Repo beinhaltet den Code und die Datasets zur Masterarbeit "..." von Sven-Ove Hänsel. Während beim Branch 'memgraph_fabian' dieser Code benutzt und auf die Bachelorarbeit von Fabian Zachen anpasst wurde. (Verwendeter Compose File docker-compose_memgraph - Sub einzeln starten) (Code anderer Datenbanken größtenteis entfernt)
Änderungen
Es wurden wichtige Änderungen an drei Stellen vorgenommen. ([Compose][referenz1] und [mosquitto][referenz2] eher nicht gravierende Änderungen)
Abfragen
/code/eval/queries/cyypher/memgraph/memgraph_queries.py Der Abfragen Code wurde insofern verändert, als dass für 'count' nur die Zahl ausgelesen wird, ansatt über das Ergebnis zu laufen (Zeile 72). (Aufgrund der geringen Änderungen auch keine Kommentare ergänzt) Es ist wichtig hervorzuheben, dass die Abfragen aus /infrastructure/eval/queries/memgraph/queries/queries.txt geladen wird. Dort in einer anderen Datei sind einige der neuen Abfragen gespeichert.
Publisher
/infrastructure/streaming/clients/pub/pub_cdm.py Der Publisher wurde insofern editiert, als dass dieser mehrere Knoten und zugehörige Kanten in einer Nachricht versendet. (line 72 -74) (95-97) Ermöglicht die Originale Version auszuwählen mittels Compose Original true.
Subscriber
/infrastructure/streaming/clients/sub/memgraph Die meisten Änderungen befinden sich bei den Einfügeoperationen. Dabei wurden verschhiedene Varianten ausprobiert.
Diese Änderung hat eine eigene ReadMe Datei, diese verweist auch auf das benutzte Compose, welches einige Änderungen hatte, meist nur zum manuellen starten der Subscriber und dem begrenzten RAM.
Troubleshooting
Fehler ab 2.000.000 Knoten eingefügt
Bei zwei Millionen Knoten kam es zu einem Fehler wodurch eine Nachricht nicht eingefügt wurde. Daraus entstanden Folgefehler, weshalb von 11.000.000 Knoten nur noch 2.500.000 eingefügt werden konnten.
Grund für den Fehler war, dass ein Zielknoten erst erstellt wurde, nachdem er bereits einmal gebraucht wurde.
Lösung: Kollisionen des Codes innerhalb von Nachrichten behandeln.
Fehler ab 5.000.000
Bei fünf Millionen Knnoten kam es zu einem Fehler bei dem der zielknoten fehlter, dieser scheint entweder nciht erstellt worden zu sein, oder folgt ab 135 Knoten später.
Wurde nicht behandelt, Ansatz zur Lösung in der Bachelorarbeit zu sehen.
[referenz1]: https://lab.it.hs-hannover.de/cwy-p8d-u1/ma_code/-/blob/memgraph_fabian/code/infrastructure/docker-compose_memgraph.yml und ) [referenz2]: https://lab.it.hs-hannover.de/cwy-p8d-u1/ma_code/-/tree/memgraph_fabian/code/infrastructure/streaming/broker?ref_type=heads