Efficient interactive and automated product-line configuration

Abstract

Modern, highly-configurable systems comprise an enormous number of variants that are created from a common code base and tailored to specific user requirements. Managing this amount of variability poses challenges for users and developers of these systems alike. Users must correctly configure a system, keeping in mind all of its dependencies, in order to get their desired variant. Developers must ensure that every correctly configured variant does not contain any faults and behaves according to its specifications. Both of these activities are challenging, because testing or even considering all possible combinations of configuration options is unfeasible for most systems. In this thesis, we address these issues by investigating tool assistance for fully-automated and semi-automated configuration processes of configurable systems. In particular, we introduce modal implication graphs (MIGs), a type of a knowledge compilation technique to speed up the configuration process by making information about dependencies between configuration options easily accessible. We find that MIGs can help to speed up the configuration process for users and automated techniques and also increases performance of other common variability analyses. Further, we introduce a new sampling algorithm for automatically generating variants for t-wise interaction coverage, which can be adapted to specific properties of a system. We extend our sampling algorithm to enable our new concept of t-wise presence condition coverage, which aims to facilitate product-based testing by taking presence conditions of implementation artifacts into account. With t-wise presence condition coverage and our corresponding sampling algorithm, we are able to compute sets of variants (i.e., samples) that are more effective for testing than samples from state-of-the-art algorithms. Furthermore, we are able to produce samples faster and with fewer variants, which decreases the overall testing effort for a system. In summary, we facilitate the fully-automated and semi-automated configuration process with a focus on improving the effectiveness and efficiency of testing and analyzing configurable systems.

Moderne, hochgradig konfigurierbare Systeme umfassen eine enorme Anzahl von Varianten, die aus einer gemeinsamen Codebasis erstellt und auf spezifische Benutzeranforderungen zugeschnitten werden. Die Verwaltung und Benutzung dieser hohen Variabilität stellt sowohl die Benutzer als auch die Entwickler dieser Systeme vor Herausforderungen. Die Benutzer dieser Systeme müssen in der Lage sein unter Berücksichtigung aller Abhängigkeiten eine korrekte Konfiguration zu erstellen, um ihre gewünschte Variante zu erhalten. Die Entwickler müssen hingegen sicherstellen, dass jede korrekt konfigurierte Variante keine Fehler enthält und sich entsprechend ihrer Spezifikationen verhält. Beides ist eine Herausforderung, da es für die meisten Systeme nicht möglich ist, alle möglichen Kombinationen von Konfigurationsoptionen zu testen oder auch nur zu berücksichtigen. In dieser Arbeit betrachten wir diese Probleme, indem wir Werkzeugunterstützung für automatische und halbautomatische Konfigurationsprozesse von konfigurierbaren Systemen untersuchen. Konkret führen wir modale Implikationsgraphen (MIGs) ein, eine Art von Wissensaufbereitung, die den Konfigurationsprozess beschleunigen, indem sie Informationen über Abhängigkeiten zwischen Konfigurationsoptionen leicht zugänglich machen. Wir können beobachten, dass MIGs dazu beitragen, den Konfigurationsprozess für Benutzer und automatisierte Techniken zu beschleunigen und auch die Leistung anderer gängiger Variabilitätsanalysen zu erhöhen. Darüber hinaus stellen wir einen neuen Sampling- Algorithmus zur automatischen Generierung von Varianten für t-wise interaction coverage vor, der an die spezifischen Eigenschaften eines Systems angepasst werden kann. Wir erweitern unseren Sampling-Algorithmus, um unser neues Konzept der t-wise presence condition coverage umsetzen zu können, das darauf abzielt, produktbasiertes Testen durch die Berücksichtigung von Presence Conditions für Implementierungsartefakte zu verbessern. Mit t-wise presence condition coverage und unserem entsprechenden Sampling-Algorithmus können wir Mengen von Varianten (d.h. Stichproben) berechnen, die ein effektiveres Testen ermöglichen als Stichproben von anderen State-of-the-Art-Algorithmen. Darüber hinaus sind wir in der Lage, Stichproben schneller und mit weniger Varianten zu erstellen, was den Gesamttestaufwand für ein System verringert. Zusammenfassend lässt sich sagen, dass wir den automatischen und halbautomatischen Konfigurationsprozess erleichtern und dabei den Schwerpunkt auf die Verbesserung der Effektivität und Effizienz des Testens und der Analyse konfigurierbarer Systeme legen.