Skip to content
Snippets Groups Projects
Select Git revision
  • aedb373f86c1b941e3a77f45211d4862a255441e
  • main default protected
  • idacs_experiments
  • postgres_idacs
  • memgraph_fabian
  • postgres_julian
  • dev_ma
  • test_results
  • FZ_changed_code
  • FZ_Memgraph
10 results

ma_code

Fabian Zachen's avatar
Fabian Zachen authored
aedb373f
History
Name Last commit Last update
.vscode
code
.gitignore
README.md

ma_code

Dieses Repo beinhaltet den Code und die Datasets zur Masterarbeit "..." von Sven-Ove Hänsel. Während beim Branch 'memgraph_fabian' dieser Code benutzt und auf die Bachelorarbeit von Fabian Zachen anpasst wurde. (Verwendeter Compose File docker-compose_memgraph - Sub einzeln starten) (Code anderer Datenbanken größtenteis entfernt)

Änderungen

Es wurden wichtige Änderungen an drei Stellen vorgenommen. ([Compose][referenz1] und [mosquitto][referenz2] eher nicht gravierende Änderungen)

Abfragen

memgraph_queries

queries.txt

/code/eval/queries/cyypher/memgraph/memgraph_queries.py Der Abfragen Code wurde insofern verändert, als dass für 'count' nur die Zahl ausgelesen wird, ansatt über das Ergebnis zu laufen (Zeile 72). (Aufgrund der geringen Änderungen auch keine Kommentare ergänzt) Es ist wichtig hervorzuheben, dass die Abfragen aus /infrastructure/eval/queries/memgraph/queries/queries.txt geladen wird. Dort in einer anderen Datei sind einige der neuen Abfragen gespeichert.

Publisher

Publisher

/infrastructure/streaming/clients/pub/pub_cdm.py Der Publisher wurde insofern editiert, als dass dieser mehrere Knoten und zugehörige Kanten in einer Nachricht versendet. (line 72 -74) (95-97) Ermöglicht die Originale Version auszuwählen mittels Compose Original true.

Subscriber

Subscriber

/infrastructure/streaming/clients/sub/memgraph Die meisten Änderungen befinden sich bei den Einfügeoperationen. Dabei wurden verschhiedene Varianten ausprobiert.

Diese Änderung hat eine eigene ReadMe Datei, diese verweist auch auf das benutzte Compose, welches einige Änderungen hatte, meist nur zum manuellen starten der Subscriber und dem begrenzten RAM.

Troubleshooting

Fehler ab 2.000.000 Knoten eingefügt

Bei zwei Millionen Knoten kam es zu einem Fehler wodurch eine Nachricht nicht eingefügt wurde. Daraus entstanden Folgefehler, weshalb von 11.000.000 Knoten nur noch 2.500.000 eingefügt werden konnten.

Grund für den Fehler war, dass ein Zielknoten erst erstellt wurde, nachdem er bereits einmal gebraucht wurde.

Lösung: Kollisionen des Codes innerhalb von Nachrichten behandeln.

Fehler ab 5.000.000

Bei fünf Millionen Knnoten kam es zu einem Fehler bei dem der zielknoten fehlter, dieser scheint entweder nciht erstellt worden zu sein, oder folgt ab 135 Knoten später.

Wurde nicht behandelt, Ansatz zur Lösung in der Bachelorarbeit zu sehen.

[referenz1]: https://lab.it.hs-hannover.de/cwy-p8d-u1/ma_code/-/blob/memgraph_fabian/code/infrastructure/docker-compose_memgraph.yml und ) [referenz2]: https://lab.it.hs-hannover.de/cwy-p8d-u1/ma_code/-/tree/memgraph_fabian/code/infrastructure/streaming/broker?ref_type=heads