Autoencoder frameworks for low-dimensional parametrizations of fluid flows

Abstract

Complex dynamical systems often encounter implementation challenges such as infeasibility and high computational cost due to their large dimensionality. A common remedy is to design low-dimensional parametrizations of the system states to enable efficient modeling and computation. Among classical techniques, Proper Orthogonal Decomposition (POD) has been widely adopted across various complex systems owing to its advantageous properties including its linearity, its optimality, and the orthogonality of the POD basis for reduced-order modeling. However, its approximation capability is inherently limited by the Kolmogorov n-width, which constrains the efficiency of dimension reduction in certain cases. As an alternative to POD, nonlinear autoencoders have been extensively developed over the past decade, with their effectiveness demonstrated in a range of tasks. Concurrently, it is also known that employing local bases tailored to different regions of the state space can improve reconstruction quality. Motivated by these insights, we propose a deep clustering architecture that integrates a nonlinear autoencoder with a clustering model. In the first proposed deep clustering model, a nonlinear encoder extracts low-dimensional latent representations that serve as meaningful feature maps. After obtaining the latent states, k-means clustering is applied to partition them into clusters, assigning a label to each latent state. For reconstruction, a suitable local mode is selected based on the corresponding cluster label, enabling accurate and efficient approximation of system states through locally adapted reconstructions. However, this framework relies on a highly nonlinear and discontinuous basis selection process, which limits its applicability to dynamical systems due to challenges in stability and differentiability. To address this limitation, we propose the polytopic autoencoder framework which integrates a lightweight nonlinear encoder, a convex-combination decoder, and a smooth clustering network. This architecture is theoretically well-founded, ensuring that reconstructed states reside within a convex polytope defined by learned local bases. Additionally, a polytope error metric is introduced to quantitatively assess the quality of the polytope and provide insight into the reconstruction fidelity. Another important aspect of model order reduction is the challenge of preserving essential data properties, such as sparsity, positivity, and underlying physical constraints. To alleviate this issue, we design polytopic autoencoders that reconstruct system states using a decoding matrix derived from a CUR decomposition, which is well-suited for maintaining physical interpretability. By employing actual state samples as decoding components, the proposed approach enhances the preservation of intrinsic data properties and ensures consistency with the original physical system.

Die Simulation komplexer dynamischer Systeme bedeutet in der Regel einen hohen Rechenaufwand, der auf die hohe Dimensionalität der Modellgleichung zurückzuführen ist. Eine mögliche Lösung besteht darin, niederdimensionale Parametrisierungen der Systemzustände zu entwickeln, die eine effizientere Modellierung und Berechnung zu ermöglichen. Unter den klassischen Methoden zu dieser sogenannten Modellordnungsreduktion hat sich die Proper Orthogonal Decomposition (POD) etabliert. Diese Methode ist optimal im Sinne einer linearen Parametrisierung gegebener Daten aus dem dynamischen System und zeichnet sich in der Praxis durch die Linearität und die Orthogonalität der Projektion auf die Parametrisierung aus. Dennoch ist ihre Approximationsfähigkeit grundsätzlich durch die Kolmogorov-n-width begrenzt, was die Effizienz der Dimensionsreduktion in bestimmten Fällen einschränkt. Als nichtlineare Alternative zur POD wurden in den letzten zehn Jahren zunehmend Autoencoder verwendet und entwickelt, deren Funktionalität sich in einer Vielzahl von Anwendungsbereichen gezeigt hat. Gleichzeitig ist bekannt, dass die Verwendung lokal angepasster Basen, die auf unterschiedliche Bereiche des Zustandsraums zugeschnitten sind, die Rekonstruktionsqualität erheblich verbessern kann. Aufbauend auf diesen Erkenntnissen schlagen wir eine Deep-Clustering-Architektur vor, die einen nichtlinearen Autoencoder mit einem Clustermodell kombiniert. In der ersten vorgeschlagenen Variante extrahiert ein nichtlinearer Encoder aus gegebenen Daten niederdimensionale Repräsentationen, die als bedeutungstragende Merkmalsabbildungen dienen. Nachdem die diese sogenannten latenten Zustände erfasst wurden, wird ein k- Means-Clustering angewendet, um diese in Cluster zu unterteilen und jedem latenten Zustand ein Label zuzuweisen. Für die Rekonstruktion wird anschließend ein lokaler Modus ausgewählt, der dem jeweiligen Clusterlabel entspricht. Dieses Clustering-Verfahren entspricht der Auswahl und der Verwendung einer lokalen Basis. Auf diese Weise wird eine genaue und effiziente Approximation der Systemzustände durch lokal angepasste Rekonstruktionen ermöglicht. Dieses Verfahren basiert jedoch auf einem stark nichtlinearen und diskontinuierlichen Auswahlprozess für die lokalen Basen. Daher ist seine Anwendbarkeit auf dynamische Systeme eingeschränkt, insbesondere aufgrund fehlender Stabilität und Differenzierbarkeit. Um diese Einschränkung zu überwinden, schlagen wir das Konzept des polytopischen Autoencoder vor. Dieses integriert einen nichtlinearen Encoder, einen Decoder auf Basis von Konvexkombinationen und ein differenzierbares Clustering über ein neuronales Netz. Die vorgeschlagene Architektur ist theoretisch fundiert und stellt sicher, dass rekonstruierte Zustände innerhalb eines konvexen Polyeders liegen, das durch gelernte lokale Basen definiert ist. Dazu wird eine Polyeder-Fehlermetrik eingeführt, um die Qualität des Polyeders quantitativ zu bewerten und Aufschluss über die Genauigkeit der Rekonstruktion zu geben. Ein weiterer wesentlicher Aspekt der Modellordnungsreduktion im Allgemeinen ist die Erhaltung relevanter Eigenschaften der Daten wie Sparsität, Positivität oder physikalische Randbedingungen. In dieser Hinsicht entwickeln wir polytopische Autoencoder, welche die Systemzustände mithilfe einer direkt aus den Daten gezogenen Dekodierungsmatrix rekonstruieren. Diese Matrix wird aus einer CUR-Dekomposition abgeleitet und eignet sich besonders gut zur Wahrung physikalischer Interpretierbarkeit. Durch die direkte Verwendung tatsächlicher Zustandsmessungen als Dekodierungskomponenten trägt der vorgeschlagene Ansatz dazu bei, intrinsische Datenmerkmale zu erhalten und die Übereinstimmung mit dem ursprünglichen physikalischen System sicherzustellen.