A holistic investigation of vehicle time series processing for artificial neural networks

Abstract

Zum Zeitpunkt der Erstellung dieser Arbeit kann eine zunehmende Digitalisierung und Automatisierung von Fahrzeugen festgestellt werden. Dies führt zu einem wachsenden, datenbasierten Informationsfluss zwischen internen Fahrzeugrecheneinheiten sowie zwischen Fahrzeugen und externen Kommunikationspartnern. Die komplexe Kommunikationsarchitektur innerhalb von Fahrzeugen und die teilweise ereignisbasierte Informationsübertragung führt zu heterogenen Datenmengen. Insbesondere unregelmäßige, eindimensionale Zeitreiheninformationen, erfordern fortgeschrittene Verarbeitungsstrategien. Die Verarbeitung, Speicherung und Analyse dieser heterogenen Zeitreihendaten ist komplex und wurde bislang nicht ganzheitlich untersucht. Ebenfalls wird die Verarbeitung von Zeitreihendaten mittels künstlicher neuronaler Netze zunehmend wichtiger. Zeitreiheninformationen werden unter anderem zur Wettervorhersage, zur Analyse von Aktienmärkten sowie in der Medizin und allgemein in der Industrie zur Lösung verschiedenster Probleme eingesetzt. Deshalb wurden verschiedene Strategien und Netzwerkarchitekturen entwickelt, um unregelmäßige und multivariate Zeitreihen zu verarbeiten. Ob bestehende Lösungen auch für fahrzeugbasierte Zeitreihen zu optimalen Ergebnissen führen, ist bislang nicht bekannt. Zusätzlich ist in den letzten Jahren ein bemerkenswerter Anstieg sowohl in der Größe künstlicher neuronaler Netze, als auch in der Sensor-Informations-Qualität zu beobachten. Die Modellgröße und die erforderliche Datenqualität ist dabei problemabhängig. Grundsätzlich hat die Forschung im Bereich Rate-Distortion-Accuracy Theory (RDAT) gezeigt, dass für bestimmte Probleme die Sensordateninformation bis zu einem gewissen Grad reduziert werden kann, ohne dass die Modellleistung signifikant beeinträchtigt wird. Wie sich eine reduzierte Informationsqualität auf fahrzeugbasierte Prädiktionsprobleme auswirkt und ob die Informationsqualität eine Auswirkung auf die Modellarchitektur hat, ist eine zentrale Fragestellung dieser Arbeit. Die effiziente Anwendung von Deep Neural Networks (DNNs) ist insbesondere unter Berücksichtigung der Skalierbarkeit von entscheidender Bedeutung. Da kleinere DNNs bei vielen Problemen häufig zu Leistungseinbußen führen, wurden Strategien wie das Student-Teacher Lernverfahren entwickelt, um die Leistung kleinerer Modelle zu verbessern. Die Auswirkungen einer Reduktion der Sensordateninformation auf die Effektivität des Student-Teacher Lernverfahrens sind jedoch nicht allgemein bekannt. Folglich ist die Untersuchung von Student-Teacher Trainingsstrategien in Abhängigkeit reduzierter Sensorinformationsqualität ein weiterer Schwerpunkt dieser Arbeit. Auf der Grundlage der eingeführten Limitationen werden in dieser Arbeit vier Forschungsfragen untersucht. Die Beantwortung dieser Forschungsfragen soll eine systemweite Optimierung der Verarbeitung, Speicherung und Analyse von Fahrzeugzeitreihendaten ermöglichen. In der ersten Forschungsfrage untersuchen wir die Fähigkeit von Kompressionsalgorithmen, Zeitreihendaten zu komprimieren. Dafür entwickeln wir ein Zeitreihenkompressionsverfahren, das auf einem Zero-Order-Predictor basiert. Dieses Zeitreihenkompressionsverfahren kann Zeitreihen sowohl verlustfrei als auch verlustbehaftet mit garantierter maximaler Fehlerschranke komprimieren. Im Vergleich zu etablierten Verfahren zeigt unser Ansatz geeignete Eigenschaften für eine fahrzeugseitige Anwendung und ermöglicht eine effektive Verbindung von Datenkompression und Datenanalyse. In der zweiten Forschungsfrage untersuchen wir Datenbanken und Dateisysteme hinsichtlich ihrer Fähigkeit, Fahrzeugzeitreihendaten zu speichern. Dafür entwickeln wir verschiedene Konzepte zur Strukturierung multivariater, unregelmäßiger Zeitreihen in Datenbanken und Dateisystemen. Die Kombinationen aus Datenschemata und Datenbanken sowie Dateisystemen werden evaluiert, um ein geeignetes Schema und System zur Speicherung von Fahrzeugzeitreihendaten zu identifizieren. Ein besonderer Fokus der Evaluierung liegt auf der Materialisierungsgeschwindigkeit von Zeitreihendaten zur Verarbeitung in und zum Training von DNNs. Unsere Ergebnisse zeigen, dass die etablierte Methode zur Strukturierung von Zeitreihendaten in Datenbanken weniger geeignet ist, um Multivariate irregular Time Series (MiTS) zu speichern. In der dritten Forschungsfrage untersuchen wir die Fähigkeit von DNNs, MiTS im Kontext von Zeitreihenprädiktionsaufgaben zu verarbeiten. Zu diesem Zweck entwickeln wir eine Netzwerkarchitektur auf Basis eines Embedding-Netzwerks, das eine direkte Verarbeitung unregelmäßige Zeitreiheninformationen ermöglicht. Wir zeigen, dass unser Ansatz auf Benchmark-Datensätzen mit bestehenden Lösungen konkurrieren kann. Zudem untersuchen wir verschiedene Vorverarbeitungsstrategien für MiTS und zeigen, dass Interpolations- und Aggregationsoperationen für die betrachteten Probleme ebenfalls geeignet sind, obwohl sie die ursprüngliche Information verändern. In der vierten Forschungsfrage untersuchen wir die Auswirkungen der Sensordatenkompression auf die Kapazität und Leistung von DNNs. Wir leiten zwei Hypothesen ab, die wir experimentell anhand zweier Zeitreihenprädiktionsprobleme evaluieren. Unsere Ergebnisse zeigen, dass es Schwellenwerte gibt, bis zu denen Zeitreiheninformationen reduziert werden können, ohne dass die Vorhersageleistung der Modelle signifikant abnimmt. Darüber hinaus zeigen wir, dass ein Zusammenhang zwischen Modellgröße und Informationsqualität besteht. Eine Reduktion der Informationsqualität kann sich positiv auf die Modellgröße auswirken. Ebenfalls entwickeln wir eine Strategie zur effektiven Anwendung des Student-Teacher Lernverfahrens, um kleinere DNNs mit komprimierten Sensordaten zu trainieren. Abschließend diskutieren wir die Ergebnisse der Forschungsfragen und führen die Erkenntnisse aus den einzelnen Forschungsfragen zu einem Konzept für eine effektive Verarbeitung von Fahrzeugzeitreihendaten zur Nutzung in DNNs zusammen. Infolgedessen können das Konzept und die in dieser Arbeit entwickelten Ideen einen Beitrag zur nachhaltigen Anwendung von DNNs leisten. Zudem liefern die Erkenntnisse dieser Arbeit einen Ansatz für eine effektive Kombination aus Zeitreihenkompression und der Speicherung und Analyse von Zeitreihendaten.

At the time this work has been created, it can be concluded that the increasing digitalization and automation of vehicles cause a growing, data-based flow of information between internal vehicle computing units and between the vehicle and external communication participants. The complex communication architecture within vehicles and the partially occurring event-based information transmission cause heterogeneous sensor data sources. Specifically, irregular, one-dimensional time series information requires advanced processing strategies. Especially, the processing, storage, and analysis of this heterogeneous time series data source is complex, and has not been investigated holistically. Furthermore, the processing of time series data using artificial neural networks is becoming increasingly important. Time series information is used, among other things, for weather forecasting, stock market analysis, as well as in medicine and generally across industry to solve a wide range of problems. Various strategies and network architectures have been developed to handle irregular and multivariate time series. Whether existing solutions also lead to optimal results for vehicle-based time series is not known. Additionally, over the last decades, the size of neural networks and the quality of information captured by sensors increased. However, the model size and the required data quality depend on the specific problem being addressed. Fundamentally, research in Rate-Distortion-Accuracy Theory (RDAT) has shown that for certain problems, sensor data information can be reduced to a certain degree without significantly deteriorating model performance. How reduced information quality affects vehicle-based prediction problems and whether the information quality has an impact on the model architecture is a central question of this work. Efficient application of Deep Neural Networks (DNNs) is especially critical when considering scalability. Since smaller DNNs often result in reduced performance for many problems, strategies such as student-teacher learning have been developed to improve the performance of smaller models. However, the impact of sensor data information reduction on the effectiveness of the student-teacher learning procedure is not universally known. Consequently, the investigation of student-teacher training strategies depending on reduced sensor information quality is another key focus of this work. Based on the introduced limitations, this work investigates four research questions. Answering these questions is intended to enable system-wide optimization of the processing, storage, and analysis of vehicle time series data. In the first research question, we investigate the ability of compression algorithms to compress time series data. Hence, we develop a time series compression method that is based on a zero-order predictor and that can compress time series data both lossless and maximum error-bounded lossy. Compared to established methods, our approach demonstrates suitable properties for a vehicle-side application and enables an effective linkage between data compression and data analysis. In the second research question, we examine databases and file-systems with regard to their ability to store vehicle time series data. Therefore, we develop various concepts for structuring Multivariate irregular Time Series (MiTS) in databases and file-systems. The combinations of data schemata with databases and file-systems are evaluated in order to identify a suitable schema and system for storing vehicle time series data. A particular focus of the investigation is the materialization speed of time series data for the processing in DNNs and the training of DNNs. Our results show that the established method for structuring time series data in databases is less suitable for storing MiTS. In the third research question, we investigate the ability of DNNs to process MiTS for time series prediction tasks. For this purpose, we develop a network architecture based on an embedding network that can directly process irregular time series. We show that our approach is competitive with existing solutions based on time series prediction benchmark datasets. We also examine various preprocessing strategies for MiTS and demonstrate that interpolation and aggregation operations are suitable for the considered problems, even though they alter the original information. In the fourth research question, we investigate the impact of sensor data compression on the capacity and performance of DNNs. We derive two hypotheses, which we evaluate experimentally on two time series prediction problems. Based on our results, we show that there are thresholds up to which time series information can be reduced without significantly degrading model prediction performance. Furthermore, we demonstrate that there is a relationship between model size and information quality, and that reducing information quality can have a positive effect on model size. Moreover, we develop a strategy for the effective application of student-teacher training, to train smaller DNNs with compressed sensor data. Finally, we discuss the results of the research questions and combine the insights from each question into a concept for effective processing of vehicle time series data for the use in DNNs. As a result, the concept and the ideas developed in this work can contribute to the sustainable application of DNNs. Furthermore, the findings of this work provide an approach for an effective combination of time series compression with the storage and analysis of time series data.