On optimal storage for heterogeneous hybrid transactional/analytical processing

Abstract

Hybrid Transactional/Analytical Processing (HTAP) promises continuous analytics of operational data by eliminating costly upfront data extraction or data transformation. Thus, a higher business value is achievable since business intelligence reporting, real-time data visualization or decision support are enabled to operate on the latest business moments. Heterogeneous Hybrid Transactional/Analytical Processing (H2TAP) extends the idea of HTAP to keep that promise by optimizing for the underlying heterogeneous compute platform. The idea of H2TAP poses inherent challenges to any database system design since the optimization goals of the contained disciplines typically contradict each other. Consequently, a variety of competitive solutions spread over the last decade. Apart from that, the availability of modern hardware for database systems additionally increases the solution space size. Namely, modern hardware features lead to both, a desired dedicated performance for particular tasks and potentially to undesired negative effects on the overall system performance when used without caution. The goal of this thesis is to provide insights into concepts, feasibility and effects of Heterogeneous Hybrid Transactional/Analytical Processing to elaborate costs of an optimal solution at storage engine level. To achieve this, we take the perspective of a storage engine to survey and classify state of the art storage layout proposals. We conclude a limited support for the H2TAP, and outline missing insights on transaction-optimized data stored on graphic cards. To give an informed statement on the feasibility of low-latency transactions on graphic cards, we explore data organization strategies in graphic card memory, and evaluate transaction primitives on different data organization strategies effectively showing limits for low-latency on dedicated graphic cards. Arguing for an asynchronous partial snapshot approach to keep data in the graphic cards memory in sync without blocking a transaction request in main memory, we suggest a highly flexible and adaptive data structure, a GridTable, to physically organize sparse and structured records in face of mixed workloads. We explore the internals and architecture of GridTables highlighting design goals, outlining concepts and explaining trade-offs. We close this thesis by stating and analysing open research questions and challenges that are addressable within GridTables. Overall, this thesis presents the backbone of a fundamental research project on cross-device transaction and analytics processing extending graphic card accelerated analytical main memory database system, such as CoGaDB.

Hybrid Transactional/Analytical Processing (HTAP) verspricht eine kontinuierliche Analyse von operativen Daten durch Entfernung kostenintensiver Datenaufbereitung. Hierdurch wird ein Mehrwert erzielt, denn Reportierung, Visualisierung oder Entscheidungsfindung wäre in der Lage auf Echtzeitdaten zu arbeiten. Heterogeneous Hybrid Transactional/Analytical Processing (H2TAP) erweitert die Idee von HTAP um die Integration und Optimierung der zugrundeliegenden heterogenen Compute Platform. H2TAP stellt Entwicklung und Forschung vor besondere Herausforderungen, da sich Optimierungsziele der enthaltenen Disziplinen widersprechen. Ferner vergrößert die, für Datenbanksysteme relevante, Menge moderne Hardware diesen Lösungsraum weiter, denn obwohl der korrekte Einsatz moderner Hardware Leistungssteigerung verspricht, so kann ein unbedachter Einsatz ebenfalls zu Leistungsminderungen führen. Das Ziel dieser thesis ist es Einsichten in aktuelle Konzepte, Umsetzungsbetrachtungen und Folgen von H2TAP zu geben, um Kosten einer optimalen Lösung auf Höhe des Speicherungssubsystems zu ermitteln. Um dies zu erreichen, werden aktuelle Vorschläge zum Aufbau klassifizierend betrachtet. Es zeigt sich eine eingeschränkte Unterstützung im Sinne von H2TAP in Hinblick auf transaktionsbasierende Verarbeitung auf Grafikkarten. Entsprechend wird ein Konzept erörtert, welches ferner effektive Grenzen für die latenzminimale Transaktionsverarbeitung auf (dedizierten) Grafikkarten aufzeigt. Dies mündet im Ansatz Schnappschüsse des Datenbestandes zu Analysezwecken im Grafikkartenspeicher asynchron abzulegen, so dass der Transaktionsbetrieb Störungsfrei ablaufen kann. Hierauf aufbauend wird eine flexible und adaptive Datenstruktur, die GridTable, vorgestellt. Diese ermöglicht die physische Organisation von spärlich besetzten, strukturierten Daten vor dem Hintergrund hybrider Arbeitslasten. Es werden die Interna und Architektur von GridTables erkundet, Designziele werden hervorgehoben und grundlegende Konzepte und Abwägungen werden aufgezeigt. Diese thesis schließt mit einer Benennung und Kostenbestimmung möglicher Optimierungen ab. Insgesamt wird in dieser thesis das Rückgrat eines Grundlagenforschungsprojekts präsentiert, das geräteübergreifende operationale Analyse im Kontext grafikkartenbeschleunigter Hauptspeicherdatenbanken am Beispiel des Prototypen CoGaDB zum Ziel hatte.