Large scale partial- and near-duplicate image retrieval using spatial information of local features

Abstract

The rapid development of smart devices and cameras together with the increased use of social media that support image sharing results in large amounts of redundant images. Many of these images can be characterized as near-duplicate images, that present the same scene but are captured by different users with different cameras, resolutions, scales or viewpoints. Moreover, image editing apps to modify and enhance images can be easily applied and produce even more near-duplicates, sometimes { intended or unintended { infringing copyrights of the creator. Therefore, methods to efficiently detect the correspondence between these near-duplicates in large datasets are valuable for commercial or legal reasons as well as for personal use as an aid to organize large image collections. Existing methods approach the problem of near-duplicate detection by either improving the local features, that describe specific areas in images, or by combining the benefits of two or more types of local and global features, that report details about all areas in an image. Unfortunately, these methods either tend to retrieve nonrelevant images on top of their result lists or have high computational requirements. Recent techniques to construct panorama images or detect copyright infringements utilize the spatial correlation among the corresponding features linking images. These techniques suffer from either low accuracy or expensive computation costs as well. In this thesis, we propose methods to improve and accelerate the usage of local features in algorithms for near-duplicate image retrieval. In addition, to enhance rankings of images in the retrieved list, we introduce an approach that combines information from local and global features to filter false positives. To determine the spatial correlation between near-duplicate images, we propose an algorithm that identifies whether compared images are similar { or have a similar region { and concurrently derive the kind of similarity { or the geometrical transformation { between them. The proposed algorithm does not require any prior knowledge about the content or image domain. We compare our algorithms to several existing state-of-the-art approaches for different retrieval tasks, namely, accelerating image retrieval, enhancing the ranking of relevant images in the retrieved list, rejecting non-relevant images and estimating the spatial correlation between images. Our experiments show that, in most cases, the performance of the proposed methods outperforms other hand-crafted approaches in some cases while having even lower computational costs.

Die rapide Entwicklung von Smart-Devices und Kameras in Kombination mit der gestiegenen Nutzung sozialer Medien - und deren Möglichkeiten Bilder untereinander auszutauschen - resultiert in enormen Mengen an redundanten Bildern. Viele dieser Bilder können als sog. Near-Duplicates bezeichnet werden, da sie die selbe Szene darstellen, jedoch durch verschiedene Nutzer mit unterschiedlichen Geräten, Auflösung, Maßstab oder Betrachtungswinkel aufgenommen wurden. Zahlreiche Anwendersoftware zum einfachen Editieren, Modifizieren und Verbessern von Bildern erhöhen die Anzahl der Near-Duplicates weiterhin und verletzen dabei manchmal { gewollt oder nicht { das Urheberrecht. Aus diesem Grund erweisen sich Methoden zur effizienten Detektierung der Übereinstimmung zwischen solchen Near-Duplicates, besonders in großen Datensätzen, als wertvolles Mittel sowohl aus kommerziellen als auch rechtlichen Gründen. Aber auch für den persönlichen Gebrauch bieten derartige Methoden ein Hilfsmittel zur Organisation großer Bildsammlungen. Aktuelle Methoden näheren sich dem Problem der Near-Duplicate Erkennung entweder durch die Verbesserung lokaler Bildmerkmale oder versuchen die Vorteile von mehreren lokalen und globalen Merkmals-Typen zu kombinieren. Erstere beschreiben spezifische Bereiche in den Bildern, Zweitere nutzen die Beschreibung von sämtlichen Details im ganzen Bild. Nachteile der aktuellen Methoden äußern sich entweder im Auffinden vieler nicht relevanter Bilder in den obersten Suchergebnissen { wenn die Erkennung als Retrieval Problem betrachtet wird - oder haben hohe Rechenkosten zur Folge. Die jüngsten Techniken, um z.B. Panorama-Bilder zu konstruieren oder um Urheberrechtsverletzungen zu finden, verwenden die räumliche übereinstimmung zwischen den korrespondierenden Merkmalen, die die Bilder miteinander verknüpfen. Aber auch diese Techniken haben Nachteile in puncto geringe Genauigkeit oder hoher Rechenkosten. In dieser Arbeit werden neue Methoden vorgestellt, welche die Verwendung lokaler Bildmerkmale beschleunigen und verbessern, um so zur Lösung der Aufgaben des Near-Duplicate-Retrievals beizutragen. Um zusätzlich die Rangfolge der Near- Duplicates in der Suchergebnisliste zu verbessern, wird ein optimierter/neuer Ansatz vorgestellt, der die lokalen und globalen Merkmale kombiniert und so die False- Positives minimiert. Um die räumliche übereinstimmung zwischen Near-Duplicates zu bestimmen, wird weiterhin ein Algorithmus beschrieben, der feststellt, ob die miteinander verglichenen Bilder ähnlich sind oder ähnliche Bereiche aufweisen. Dabei wird gleichzeitig die Art der ähnlichkeit sowie die Art der Modifikation (geometrische Transformation) bestimmt. Ein weiterer Vorteil des Algorithmus ist, dass kein Vorwissen über den Bildinhalt oder die Bilddomäne erforderlich ist. Die hier vorgestellten Algorithmen und Methoden werden mit verschiedenen, bereits existierenden State-of-the-Art Ansätzen bzgl. der Beschleunigung des Bild- Retrievals, der Verbesserung der Rangfolge der relevanten Bilder in der Ergebnisliste, dem Aussortieren von nicht relevanten Bildern und der Abschätzung der räumlichen übereinstimmung zwischen den Bildern verglichen. Die dafür durchgeführten Experimente zeigen, dass in den meisten Fällen die in dieser Arbeit vorgestellten neuen Verfahren die bisherigen Ansätze übertreffen oder zumindest die gleichen Ergebnisse liefern und dabei sogar teilweise geringere Rechenkosten verursachen.