From explainable to justifiable legal artificial intelligence : structuring search and knowledge derived from legal textbooks

Abstract

Legal professionals must navigate a growing and fragmented body of legal texts. Norms are written in abstract language, case law is voluminous and intertwined through citations and overrulings, and relevant content is scattered across statutes, judgments, commentaries, and textbooks. Missing even a single source can be costly, yet existing databases are often proprietary, do not cover all relevant sources, and are opaque in their ranking. Law school textbooks, although central for contextualizing norms and connecting them to precedents, are largely absent from current digital tools due to access barriers and the difficulty of structuring their context-dependent content. This dissertation investigates how textbook knowledge can support more reliable and accountable legal information retrieval. The work is organized around three key questions: how knowledge can be extracted from textbooks and aligned with other legal sources, how this knowledge can be presented to users for effective retrieval and exploration, and how retrieval models differ in performance, robustness, and explainability. First, we introduce HONto, a knowledge graph of legal references derived from textbooks, where heading hierarchies are used to organize cited norms and cases. We also present HiPS, a dataset and experiments addressing hierarchical PDF segmentation of deeply structured textbooks, and explore topic-aware reference linking and implicit norm-to-norm relations. Second, an initial prototype for textbook exploration revealed that users needed direct access to referenced statutes and cases. This insight led to TENJI, a prototype integrating textbooks, statutes, and cases in acitation graph. User studies with law students showed improved efficiency in retrieval tasks, though no significant benefit in a law exam setting. Finally, we analyze retrieval approaches independently, reporting competitive results in international evaluations, examining bias in legal data, and comparing explainability against performance. Overall, the thesis contributes methods, prototypes, a dataset, and evaluations that show both the potential and the limits of textbook-centered retrieval, and it argues for moving from explainability toward justifiability: systems that allow users to ground answers in verifiable evidence.

Juristische Fachkräfte müssen eine stetig wachsende und fragmentierte Menge an Rechtsquellen bewältigen. Normen sind in abstrakter Sprache verfasst, Gerichtsentscheidungen sind zahlreich, umfangreich und durch Zitationen oder Aufhebungen eng miteinander verflochten. Relevante Inhalte sind zudem über Gesetze, Urteile, Kommentare und Lehrbücher verstreut. Das Übersehen auch nur einer Quelle kann kostspielig sein. Bestehende Datenbanken sind häufig proprietär, decken nur Teilmengen der relevanten Quellen ab und ihre Ranking-Algorithmen sind intransparent. Obwohl juristische Lehrbücher eine zentrale Rolle bei der Kontextualisierung von Normen und ihrer Verbindung mit Präzedenzfällen spielen, fehlen sie in digitalen Werkzeugen weitgehend. Gründe dafür sind sowohl Zugangsbarrieren (z. B. urheberrechtlich geschützte PDFs) als auch die Schwierigkeit, ihre stark kontextabhängigen Inhalte zu strukturieren. Diese Dissertation untersucht, wie Wissen aus juristischen Lehrbüchern genutzt werden kann, um zuverlässigere und verantwortbare Systeme zur juristischen Informationssuche zu entwickeln. Die Arbeit orientiert sich an drei Forschungsfragen: Wie lässt sich Wissen aus Lehrbüchern extrahieren und mit anderen Rechtsquellen verknüpfen? Wie kann dieses Wissen Nutzerinnen und Nutzern für eine effektive Suche und Exploration zugänglich gemacht werden? Und wie unterscheiden sich Retrieval-Modelle hinsichtlich Leistung, Robustheit und Erklärbarkeit? Erstens stellen wir HONto vor, einen Wissensgraphen juristischer Referenzen, der aus Lehrbüchern extrahiert wurde und in dem Überschriftenhierarchien genutzt werden, um zitierte Normen und Fälle zu organisieren. Zudem veröffentlichen wir HiPS, einen Datensatz zur strukturellen Segmentierung hierarchischer Lehrbuch-PDFs, und untersuchen kontextabhängige Referenzverknüpfungen sowie implizite Normbeziehungen. Zweitens zeigte ein erster Prototyp zur Lehrbuch-Exploration, dass Nutzerinnen und Nutzer direkten Zugriff auf die referenzierten Gesetze und Fälle benötigen. Diese Erkenntnis führte zu TENJI, einem Prototypen, der Lehrbücher, Gesetze und Fälle in einem Zitationsgraph integriert. Studien mit Jurastudierenden belegten eine höhere Effizienz bei Retrieval-Aufgaben, jedoch keinen signifikanten Vorteil in einer Prüfungssituation. Drittens analysieren wir verschiedene Retrieval-Ansätze unabhängig vom Prototyp, berichten über gute Ergebnisse in internationalen Evaluierungen, untersuchen Verzerrungen in juristischen Daten und vergleichen Erklärbarkeit mit der Rechtfertigbarkeit von Antworten. Insgesamt leistet die Dissertation Beiträge in Form von Methoden, Prototypen, einem Datensatz und empirischen Evaluationen. Sie zeigt sowohl Potenziale als auch Grenzen einer lehrbuchzentrierten Informationssuche auf und argumentiert für einen Übergang von bloßer Erklärbarkeit zu Rechtfertigbarkeit: Systeme sollen es ermöglichen, Antworten auf überprüfbare Evidenz zu stützen.