Density-based clustering in large databases using projections and visualizations

Abstract

In dieser Arbeit wurde ein Rahmen-System für Clusteranalyse entwickelt, daß Cluster-Primitive für verschiedene Aufgabenstellungen bereit hält. Alle Cluster-Primitive basieren auf Dichteschätzung, die von der eigentlichen Clusteranalyse getrennt wurde. Diese Trennung führte zu Algorithmen mit geringerer Laufzeitkomplexität. Um hoch-dimensionale Daten zu bearbeiten, wurde ein neuer Algorithmus vorgeschlagen, der Cluster in verschiedenen Projektionen des hoch-dimensionalen Datenraumes finden kann. Der neue Algorithmus kann Cluster finden, die von anderen bekannten Verfahren nicht gefunden werden können. Zum Abschluss wurde das HD-Eye-System entwickelt, das automatische Verfahren mit Visualisierungstechniken verknüpft, um dem Nutzer eine bessere Grundlage für seine Entscheidungen zu liefern und um das Verständnis und die Einschätzung der Ergebnisse zu erleichtern. In zukünftigen Arbeiten kann der Algorithmus zum Finden von Clustern in Projektionen erweitert werden, um auch Cluster mit abhängigen Attributen zu finden. In diesem Rahmen gibt es auch Potential zur Entwicklung neuer Visualisierungstechniken.

In the thesis we propose a new framework for clustering based on primitives for different clustering schemes. Our ideas is that the primitives are based on density estimation, which is a separated task from cluster analysis. This separation leads to new algorithms with lower run time complexity as previous published ones. To handle high dimensional data we proposed a new algorithm which determines clusters in different projections of the high dimensional data space. We demonstrate that the new algorithms finds clusters, which are missed by known projected clustering methods. Finally we describe an interactive visual clustering system, called HD-Eye, which combines automated clustering algorithms with novel visualization techniques. This combination provides the analyst a good basis for data exploration and improves her/his understanding of the results. In future work we will exploit extensions of our projected clustering algorithm to find also clusters with dependent attributes. There is also potential for the development of advanced visualization techniques.