Neuroscience-inspired analysis and visualization of Deep Neural Networks

Abstract

Deep Neural Networks (DNNs) are very successful in various fields of application. Their success, however, ismostly achieved by increasing the model complexity in terms of types of architectures or the number of neurons. At the same time, it becomes harder to interpret how DNNs solve their learned task, which can be risky in critical applications like autonomous driving or decision-making systems in healthcare. There are several techniques to elucidate inner workings of DNNs and to explain their decisions for individual examples. However, most of them are projecting information to the input space such that results are typicallymost useful for images. For many other types of data, for example, audio, visually inspecting the data is not intuitive such that the results of the explanation techniques are less intuitive to interpret, as well. In this thesis, we aim to develop a more generally applicable method for getting insight into DNNs which does not depend on input data that is visually interpretable. Instead of projecting information to the input space, we implement a comparative analysis ofDNNresponses to different groups of inputs. For pre-defined groups that comprise related input examples, for example, from the same category, we obtain typical activity of the DNN for each of the groups. If the similarities of activity are in agreement with the human expectation about the similarities of the groups, it indicates that the model learned meaningful concepts about the data. For this comparative analysis, it is only necessary that a person can estimate relative similarities and differences between the groups, that means, tellingwhether two groups are more similar to each other than to another group. For example, a person might estimate that a spoken ‘a’ and ‘e’ are more similar to each other than to a spoken ‘t’ and expect this to be reflected in the similarities of DNN activations, too. In this thesis, we use audio, specifically speech in an Automatic Speech Recognition (ASR) task, as a representative data that is not visually interpretable. To develop such technique, we take inspiration from neuroscience because real brains are even more complex and opaque systems than DNNs and have been studied for decades. Therefore, we research howwell-established methods from neuroscience can be adapted to analyze and visualize DNNs. In particular, we present two methods that build on top of each other. First, we introduce a Event-Related Potentials (ERPs)-inspired technique to characterize DNN activity for groups of examples, which we call Neuron Activation Profiles (NAPs). This approach allows to describe how the DNN responds to certain pre-defined groups of inputs and how the responses differ between these groups. For example, this can reveal which neurons are activated for specific groups and which activate for all similarly. While this technique allows for comparisons, the activations themselves are not directly interpretable. Therefore, as a second technique, we present a visualization of activations as topographic activation maps, similar to how brain activity is visualized in Electroencephalography (EEG). Computing NAPs and visualizing them as topographic maps finally allows to compare group-characteristic DNN responses visually. This way, we provide a visual tool to inspect DNNs independent of whether the input data are visually interpretable themselves. We performexperiments with different image recognition models and for an ASR model which processes audio data of speech as a representative task with data that are not visually interpretable.

Tiefe neuronale Netze (TNN) sind sehr erfolgreich in einer Vielzahl unterschiedlicher Anwendungsgebiete. Allerdings wird dieser Erfolg oft durch eine Erhöhung der Komplexität des Modells erreicht, beispielsweise indem kompliziertere Architekturen oder eine größere Anzahl von Neuronen verwendet werden. Gleichzeitig erschwert diese Komplexität, zu verstehen, wie ein TNN seine Aufgabe löst, was ein Risiko in kritischen Anwendungsgebieten wie dem autonomen Fahren oder Entscheidungssystemen in der Gesundheitsversorgung darstellt. Es existieren bereits verschiedene Methoden, um die inneren Prozesse von TNN nachzuvollziehen sowie deren Entscheidungen für einzelne Eingaben zu erklären. Die meisten dieser Methoden projizieren jedoch Informationen auf den Eingaberaum, weswegen deren Resultate am nützlichsten für Bilder sind. Andere Datentypen, beispielsweise Audiodaten, sind als eine visuelle Darstellung nicht intuitiv interpretierbar. Dementsprechend sind für diese Datentypen auch Erklärungsmethoden, die eine visuelle Erklärung im Eingaberaum erzeugen, nur schwer interpretierbar. Das Ziel dieser Arbeit ist es, eine Methode zu entwickeln, die Einblick in innere Strukturen und Prozesse von TNN gewährt, dabei aber unabhängig davon ist, ob die Eingabedaten visuell interpretierbar sind. Anstatt Informationen auf den Eingaberaum zu projizieren, vergleichen wir, wie ein TNN auf unterschiedliche Gruppen von Eingaben reagiert. Dazu ermitteln wir die Aktivierungen des TNN für vordefinierte Gruppen, welche zusammengehörige Eingaben beinhalten, beispielsweise Eingaben der gleichen Kategorie. Wenn die Ähnlichkeiten der Aktivierungen mit der menschlichen Erwartung über die konzeptuellen Ähnlichkeiten der Gruppen übereinstimmen, deutet das darauf hin, dass die vom Modell gelernten Konzepte sinnvoll sind. Um diese vergleichende Analyse durchzuführen, muss eine Person nur die Ähnlichkeit der Gruppen einschätzen können, das bedeutet, ob zwei Gruppen ähnlicher zueinander sind als zu einer dritten Gruppe. Zum Beispiel kann eine Person einschätzen, dass ein gesprochenes ‘a’ und ‘e’ sich ähnlicher sind als ein gesprochenes ‘t’ und dementsprechend erwarten, dass diese Ähnlichkeit in den Aktivierungen des TNN widergespiegelt ist. In dieser Arbeit nutzen wir Audiodaten, speziell Sprachaufnahmen zur Anwendung für die Spracherkennung, als repräsentative Daten, die nicht visuell interpretierbar sind. Um eine geeignete Methode zu entwickeln, dienen uns die Neurowissenschaften als Inspiration. Im Vergleich zu TNN sind Gehirne noch komplexere und undurchsichtigere Systeme, die seit Jahrzehnten untersucht werden. Darum erforschen wir, wie etablierte Methoden aus den Neurowissenschaften auf TNN übertragen werden können, um diese zu analysieren und zu visualisieren. Im Speziellen stellen wir zwei Methoden vor, die aufeinander aufbauen. Erstens zeigen wir einen Ansatz, um TNN Aktivierungen für Gruppen von Eingaben zu charakterisieren, welchen wir Neuronen-Aktivierungs-Profile (NAP) nennen. Diese Methode ermöglicht es, zu beschreiben, wie ein TNN auf bestimmten vordefinierte Gruppen von Eingaben reagiert und wie sich diese Reaktionen zwischen den Gruppen unterscheiden. NAP erlauben es, Gruppenmiteinander zu vergleichen, allerdings sind die Aktivierungen, die sie beschreiben, nicht direkt interpretierbar. Aus diesem Grund stellen wir eine zweite Methode zur Visualisierung der gruppenspezifischen Aktivierungen als topographische Aktivierungskarten vor. Diese Visualisierungs-Technik ist davon inspiriert, wie Gehirn-Aktivität bei der Messungmittels Elektroenzephalographie (EEG) dargestellt wird. NAPs und deren Visualisierung als topographische Karte ermöglichen es, Reaktionen des TNN für unterschiedliche Gruppen visuell miteinander zu vergleichen. Damit stellen wir ein Werkzeug zur Verfügung, um unabhängig davon, ob Eingaben visuell interpretierbar sind, Einblicke in TNN zu gewinnen. Unsere Experimente umfassen unterschiedliche Bilderkennungs- Modelle sowie ein Spracherkennungsmodell, das Audiodaten verarbeitet, als repräsentatives Beispiel für Daten, die nicht visuell interpretierbar sind.