Networks-on-Chip for heterogeneous 3D Systems-on-Chip

Abstract

Recently proposed manufacturing methods enable the production of heterogeneous 3D System-on-Chips (3D SoCs), in which dies manufactured in different technology nodes are stacked and vertically interconnected. This allows for the combination of components with different electrical requirements on a single chip. One example of such systems are “Vision System-on-Chips” that combine analog image sensors, analog-digital converters and digital signal processing. Communication architectures using the advantages of heterogeneity have not been considered prior to this thesis.We propose Asymmetric 3D Networks-on-chips (A-3D NoCs) for this purpose. A-3D NoCs are NoCs that target heterogeneous 3D SoCs and further exploit the specific properties of silicon dies in disparate technologies. Asymmetry for 3D NoCs is a novel design paradigm, offering advantages in performance, power consumption and area. It further unleashes the full potential of heterogeneous integration for the network itself. The approach of this thesis is twofold: First, we consider A-3D NoCs on a system level to take the advantages of heterogeneous integration for NoC planning including, optimized topology and placement. Second, we improve routers on an architectural and micro-architectural level to tackle technological challenges emerging from heterogeneity. This thesis provides the following specific contributions: The design space of A-3D NoCs is modeled. Technology-specific features are taken into account, in contrast to models for conventional on-chip networks. This results in a deeper understanding of the design space and leads to a systematic approach for its exploration. Next, we propose an analytical approach to system-level optimizations by means of modeling via linear programs for exact solutions and heuristics for efficient solutions. For the first time, models account for technology-specific properties of routers and components. Furthermore, routers and components are placed simultaneously. This combination of models and methods is necessary because properties vary between layers. Area reductions of up to 26.3% over related approaches are possible while maintaining performance of the network. Plus, we achieve white space reductions of up to 21.6% over traditional linear models for placement of components. Thereafter, we propose a comprehensive design and simulation framework including processes for design space exploration and analysis. As a novel feature, it accounts for the described structure and proposed hierarchical order of the design space and it includes technology-specific properties. Furthermore, it considers architectures that are only reasonable due to heterogeneity. This allows for rapid prototyping using parameter sets. Therefore, we propose well-reasoned models. These are implemented in a simulator which is embedded in a design and simulation process, including tools for benchmarking, reporting and analysis. The performance of the simulator is close to state-of-the-art, despite extended features, and it allows for faster design space exploration using parameter sets. Going further, we improve the router architecture by means of better buffer depth and buffer distributions. As a novel feature, memory of routers is divided over heterogeneous layers to reduce area and power in those that are more expensive. This allows for cost reductions. We achieve up to 8.3% area savings and 5.4% power reductions at a minor performance loss of 2.1%; Area reduction of 28% and power savings of 15% are possible at 4.6% performance loss. Hereafter, we optimize routing in A-3D NoCs. For the first time, general principles and models are proposed, which measure the impact of heterogeneity on router area, speed, packet latency and router throughput for any set of commercial technologies. Based on these models, concrete implementations of routing algorithms for heterogeneous 3D SoCs are proposed. Latency reductions of between 1.5x and 6.5x for packets between layers in different technologies and about 1.6x for packets within slow technologies are achieved for a given case study. After that, network throughput reductions are analyzed with the aforementioned models, which are a result of non-purely synchronous communication between routers due to heterogeneity. A co-design of a router architecture with the proposed routing algorithms allows for up to 4x throughput increase with negligible hardware overhead. This thesis comprehensively introduces asymmetry as a novel paradigm for NoCs targeting heterogeneous 3D SoCs. Further, it contributes methods and tools for their design, optimizations on their system level and novel router architectures and microarchitectures. The contributions tackle the most important challenges for implementation of communication networks in heterogeneous 3D systems. Thereby, the design of diverse heterogeneous 3D SoCs is made possible for many new application fields.

Durch Fortschritte in der Fertigung ist es mittlerweile möglich, heterogene 3D System-on-Chips (3D SoCs) zu erstellen, in denen Chips unterschiedlicher Technologie gestapelt und vertikal verbunden sind. Dieses erlaubt es, Komponenten mit verschiedenen elektrischen Anforderungen in einem einzigen Chip zusammenzuführen. Ein Beispiel dafür sind sogenannte „Vision System on Chips“, die analoge Bildsensoren, Analog-Digital-Wandler und digitale Signalverarbeitung kombinieren. In dieser Arbeit werden erstmals Kommunikationsnetze erforscht, die Vorteile aus heterogener Integration ziehen. Dafür wird Asymmetrie als ein neues Entwurfsparadigma für Networks-on-chips (NoCs) eingeführt. Asymmetrische 3D NoCs, kurz A-3D NoCs, sind solche NoCs, die eigens für heterogene 3D Chips entworfen werden und die dabei spezifische Charakteristika einzelner Chipebenen ausnutzen. Dieses bietet viele Vorteile, da Flächenkosten, Energieverbrauch und Leistungsfähigkeit verbessert werden. So kann das große Potential heterogener Integration auch für Kommunikationsnetze ausgeschöpft werden. Wir verwenden einen zweistufigen Ansatz: Zuerst werden Optimierungen von A-3D NoCs auf Systemebene erforscht. Bei der Netzwerkplanung werden Eigenschaften der Netzwerktopologie und der Platzierung von Routern und Komponenten verbessert. Danach berücksichtigen wir die einzelnen Router und schlagen Optimierungen derer Architektur und Mikroarchitektur vor, sodass Größe, Leistungsaufnahme und Geschwindigkeit verbessert werden. Diese Arbeit leistet die folgenden wissenschaftlichen Beiträge: Wir modellieren den Entwurfsraum von A-3D NoCs und berücksichtigen dabei, im Gegensatz zu bisherigen Modellen, spezifische Eigenschaften der Fertigungstechnologien. Durch dieses Verständnis ist eine systematische Erkundung des Entwurfsraums möglich. Als Nächstes optimieren wir die Systemebene von A-3D NoCs und stellen dafür ein analytisches Modell in Form eines ganzzahlig linearen Programms vor. Darauf aufbauend wird ein heuristischer Algorithmus präsentiert, der effizient eine Lösung für große Eingaben findet. Dabei berücksichtigen wir, dass sich die Eigenschaften von Routern und Komponenten zwischen Chipebenen ändern. Damit verbessern wir die Flächenausnutzung um bis zu 26,3% bei gleicher Leistungsfähigkeit des Netzwerks für Anwendungsdatenströme gegenüber vergleichbaren Ansätzen. Außerdem verringern wir die ungenutzte Chipfläche um bis zu 21,6% im Vergleich zu typischerweise verwendeten linearen Modellen bei der Platzierung von Komponenten. Weitergehend stellen wir Methoden und Werkzeuge zur empirischen Exploration des Entwurfsraums vor, um Architektur und Mikroarchitektur von Routern zu verbessern. Wir berücksichtigen dabei sowohl die Struktur des Entwurfsraums als auch die Eigenschaften der zu modellierenden Systeme und erstellen ein wohlbegründetes Simulationsmodell. Eine schnelle und effiziente Erkundung des Entwurfsraums, im Sinne eines Rapid Prototyping, ist möglich, da das Simulationsmodell mittels einstellbaren Parametern flexibel an sinnvolle Architekturen angepasst werden kann, ohne dass diese einzeln implementiert werden müssen. Der Simulator bietet, trotz erweiterter Funktionen, eine ähnliche Simulationsgeschwindigkeit wie Konkurrenzprodukte. Des Weiteren optimieren wir Routerarchitekturen. Durch eine innovative Herangehensweise, in der Router über mehrere, heterogene Chipebenen aufgeteilt werden, können wir die Größe und Leistungsaufnahme des Routers minimieren: Durch eine verbesserte Speicherstruktur wird der Router bis zu 8,3% kleiner und benötigt bis zu 5,4% weniger Leistung. Dieses wird durch eine kleine Verminderung der Latenz von 2,1% erkauft. Es ist sogar möglich, bis zu 28% Routerfläche und bis zu 15% Leistungsaufnahme zu sparen, wenn eine 4,6%-ige Reduktion der Latenz im Netzwerk akzeptiert wird. Als nächsten Punkt optimieren wir Routing in A-3D-NoCs mit dem Ziel einer besseren Übertragungslatenz. Wir stellen dafür erstmals allgemeingültige Modelle für beliebige Kombinationen von Technologien vor, die den Einfluss von Heterogenität auf Größe und Taktrate von einzelnen Routern sowie die Latenz und den Durchsatz des gesamten Netzwerks erfassen. Daraus leiten wir allgemeine Prinzipien für Routingverfahren ab. Außerdem zeigen wir, wie heterogene Integration bei konventionellen Routerarchitekturen den Netzwerkdurchsatz beschränkt. Durch neue Routingverfahren und eine verbesserte Mikroarchitektur können wir die Übertragungslatenz um bis zu Faktor 6,5 zwischen Ebenen in unterschiedlichen Technologien reduzieren. Die Latenz bei Übertragung zwischen Routern in einer langsameren Technologie wird um etwa Faktor 1,6 verbessert. Beide Ergebnisse werden für einen realistischen Testfall mit kommerziellen Fertigungstechnologien ermittelt. Ein integrierter Entwurf von Routingverfahren und Routerarchitektur ermöglicht weiterhin einen höheren Durchsatz um Faktor 4 bei zu vernachlässigendem Flächenmehrbedarf. Damit stellt diese Arbeit nicht nur ein neues Entwurfsparadigma für NoCs in heterogene 3D Systeme vor, sondern präsentiert auch Methoden undWerkzeuge für deren Entwurf, deren Optimierung auf Systemebene und neue Routerarchitekturen und -mikroarchitekturen. Es werden die wichtigsten Hürden für die Implementierung von Kommunikationsnetzen in heterogenen 3D Systemen beseitigt. Somit ebnet diese Arbeit den Weg für den Entwurf heterogener 3D Chips für neue Anwendungsgebiete.