Lebensdauerprognose von High-End-Elektronik

Deep Learning und die Herausforderung der Datenknappheit

Deep Learning erlaubt es die Repräsentation der Daten in mehreren Abstraktionsschichten zu erlernen und für weitaus mehr zu nutzen als für Klassifikation oder Regression. Diese Methoden haben den State-of-the-Art in vielen Bereichen neu definiert, wie beispielsweise Computer Vision oder Natural Language Processing. Deep Learning, welches auf neuronalen Netzen basiert, benötigt für das Erlernen der Repräsentationen eine Vielzahl von Daten als Basis, da der Ergebnisraum der erlernbaren Parameter hochdimensional ist. Jedoch gestaltet sich der Aufbau großer Datensätze in den Materialwissenschaften als schwierig, da dafür eine große Menge von Proben und aufwändigen Versuchen benötigt werden. Das Erlernen präziser und robuster neuronaler Netze auf Basis von geringen Datenbeständen erweist sich dementsprechend als herausfordernd.

Daher ist es das Ziel des Vorhabens MaWis-KI sich mit der Entwicklung, Umsetzung und Erprobung von neuartigen Ansätzen des maschinellen Lernens für die Lebensdauerprognostik von Loten aus Zinn, Silber, Kupfer und ggf. weiteren Bestandteilen (SAC bzw. SAC+ Lote) zu beschäftigen. Aufgrund der geringen Datenmenge können jedoch keine Standardmethoden des Deep Learnings verwendet werden. Stattdessen werden im Rahmen des Forschungsprojektes modell- und wissensbasierte KI-Methoden wie Neural Ordinary Differential Equations (Neural ODE) erforscht und deren Potential evaluiert.

Contrastive Learning für das Erlernen guter Repräsentationen

Contrastive Learning ist eine Methode des maschinellen Lernens, die darauf abzielt, nützliche Repräsentationen von Daten zu erstellen. Sie funktioniert, indem sie Paare von Datenpunkten erzeugt, die entweder ähnlich oder unterschiedlich sind. Diese Paare werden in einem Embedding-Raum platziert, wobei ähnliche Datenpunkte nahe beieinander und unterschiedliche Datenpunkte voneinander entfernt sind.

Durch diesen Prozess lernt das Modell, wie es relevante Merkmale extrahieren kann, die dazu führen, dass ähnliche Datenpunkte in einem hochdimensionalen Raum nahe beieinander liegen, und ermöglicht es, semantische Informationen aus den Daten zu erfassen. Im Rahmen des Vorhaben hat sich Contrastive Learning als zielführend erwiesen, um Risse und Defekte in Ultraschallmikroskopiebildern von Lötstellen gezielt zu erkennen.

Während bei klassischem Supervised Learning eine Gruppierung nach Bauteil- und Lottypen im Embedding-Raum erfolgt, werden durch Contrastive Learning die Datenpunkte nach Schädigungsgrad im Embedding-Raum angeordnet. Dies führt dazu, dass relevante Merkmale durch das Modell extrahiert werden. (Darstellung aus der Publikation „Contrastive pretraining of regression tasks in reliability forecasting of automotive electronics“)