Enhanced adaptive partitioning in a distributed graph database
Autoři
Svitáková, L.; Pokorný, J.; Valenta, M.
Rok
2020
Publikováno
Journal of Information and Telecommunication. 2020, 5(1), 104-120. ISSN 2475-1847.
Typ
Článek
Pracoviště
Anotace
Nowadays, open-source graph databases do not include an
inherent mechanism for data relocation that would be based on
their usage. They often do not offer even appropriate monitoring
that could help to make such a decision. Information about data
utilization could, however, work as an input to some decision-
making process about more suitable data regrouping that could
be much more efficient in terms of intra-network communication.
Therefore, we created a module for the graph computational
framework TinkerPop that logs traffic generated by the user
queries. These logged records serve as an input for the algorithm
of Adaptive Partitioning that we enhanced with better balancing,
avoidance of local optima and the notion of weighted graphs.
This approach yields a 70–80% improvement in intra-network
communication, which is comparable to other methods, namely
Ja-be-Ja, that offers similar results but has higher computational
demands.
Effective Data Redistribution Based on User Queries in a Distributed Graph Database
Autoři
Svitáková, L.; Valenta, M.; Pokorný, J.
Rok
2020
Publikováno
Intelligent Information and Database Systems. Cham: Springer, 2020. p. 218-229. Lecture Notes in Computer Science. ISSN 0302-9743. ISBN 978-3-030-42057-4.
Typ
Stať ve sborníku
Pracoviště
Anotace
The problem of data distribution in NoSQL databases is particularly difficult in the case of graph databases since the data often represent a large, highly connected graph. We face this task with monitoring of user queries, for which we created a logging module providing information serving as an input to a redistribution algorithm which bases on a lightweight method of Adaptive Partitioning but incorporates our enhancements overcoming its present drawbacks (local optima, balancing, edge weights). The results of our experiments show 70% – 80% reduction of communication between cluster nodes which is a comparable result to other methods, which, however, are more computationally demanding or suffer from other shortcomings.
Optimalizace dotazů nad distribuovanou grafovou databází
Autoři
Svitáková, L.; Valenta, M.; Pokorný, J.
Rok
2019
Publikováno
DATA A ZNALOSTI & WIKT 2019. Košice: Technická univerzita v Košiciach, 2019. ISBN 978-80-553-3354-0.
Typ
Stať ve sborníku
Pracoviště
Anotace
Distribuce dat v grafových databázích je dnes zpravidla
implementována jako náhodné rozmístění nově příchozích dat na jednotlivé uzly
clusteru. Efektivní využití grafové databáze však často vyžaduje přeskupení
těchto dat, aby byla komunikace mezi uzly clusteru co nejnižší. Vytvořili jsme
modul do frameworku TinkerPop, který získá data o dotazech provedených nad
grafovou databází. Tato data slouží jako vstup pro redistribuční algoritmus, který
data redistribuuje se snížením potřebné komunikace mezi uzly clusteru (v níže
popsaném experimentu o 70–80 %) a s relativně nízkými výpočetními nároky.
Do redistribuce chceme dále zahrnout další relevantní informace, stejně tak jako
tyto informace využít pro vhodné uložení nově příchozích dat. V příspěvku
přiblížíme naše výsledky a představíme oblasti, kterým se chceme v rámci
optimalizace dotazů dále věnovat.