Projekt

Die produzierende Industrie und deren Endkunden stellen immer höhere Qualitätsansprüche. Anstelle einer mitunter ineffizienten und fehleranfälligen manuellen Qualitätsprüfung setzen einzelne Branchen vermehrt auf automatisierte Prüfungen, etwa mittels optischer Prüfsysteme und anschließender Bildverarbeitung. Allerdings kommt die traditionelle Bildverarbeitung insbesondere dann an ihre Grenzen, wenn eine hohe Variabilität der Fehler und/oder der Teile vorliegt. Methoden des Maschinellen Lernens (ML), einem Teilgebiet der Künstliche Intelligenz (KI), erlauben es zusehends, diese Limitierungen zu überwinden. Diese Ansätze werden vollständig auf Daten trainiert, ohne dass explizite Regeln durch den Menschen vorgegeben werden müssen. Zu den Eigenschaften des ML, welche sich von herkömmlichen Software-/KI-Ansätzen unterscheiden und die Qualifizierung erschweren, gehören unter anderem die eingeschränkte Erklärbarkeit der Entscheidungsfindung, unzureichende Robustheit gegenüber kleinen Änderungen der Eingabedaten oder das Fehlen aussagekräftiger Kriterien, die als Qualifizierungsnachweis verwendet werden können. Es fehlen zudem geeignete Standards und Entwicklungsmethoden, um die Eignung/Qualifizierung eines ML-basierten KI-Systems nachzuweisen. So verhindern Bedenken hinsichtlich Zuverlässigkeit oder Genauigkeit der auf ML basierenden KI-Systeme bisher deren breiten industriellen Einsatz.

Ziel des Projekts ist die Entwicklung eines Software-Frameworks für die Qualifizierung bzw. Auditierung von ML-basierten KI-Systemen in der industriellen Qualitätsprüfung. Das Framework besteht dabei aus einem Vorgehensmodell samt software-gestützter Methoden und Werkzeuge, welches (a) die Ermittlung und Formulierung von Prüf- und Bewertungskriterien sowie (b) die Abnahme des KI-Systems entlang dieser Kriterien erlaubt. Das Framework soll modular gestaltet sein, so dass eine einfache Integration und Erweiterung von Prüf- bzw. Auditierungsmodulen möglich wird. Das Framework soll insbesondere kleine und mittelständische Unternehmen (KMU) dazu befähigen, fremdbezogene KI-Systeme zu qualifizieren, um so auch ohne eigene KI-Fachkräfte die Leistungsfähigkeit des KI-Systems bewerten zu können. Das Framework soll auch für KI-Dienstleister für eine Selbstauskunft oder für unabhängige Prüfinstanzen etwa für eine Zertifizierung einsetzbar sein.

In diesem Vorhaben wird für die verschiedenen Phasen der Entwicklung eines KI-Systems eine systematische Ermittlung und Formulierung von anwendungs- und KI-spezifischen Prüf- und Bewertungskriterien auf der Grundlage sogenannter Argumentationsstrukturen vorgeschlagen. Kernelement der Argumentationsstruktur ist das Hauptziel, welches durch das KI-System zu erreichen ist, beispielsweise dass eine bestimmte Pseudofehlerrate nicht unterschritten wird. Zur weiteren Strukturierung kann dieses Hauptziel in Unterziele oder zu erfüllende Kriterien aufgegliedert werden. Zudem sind alle getroffenen Annahmen und Kontextinformationen in die Argumetationsstruktur zu integrieren. Um ein strukturiertes Argument zur Erfüllung des Hauptziels bereitstellen zu können, erfasst die Argumetationsstruktur auch die dafür erforderlichen und zu erbringenden system- oder prozessbezogenen Nachweise. Die Argumetationsstruktur soll bei der Auditierung des KI-Systems entlang der verschiedenen Entwicklungsphasen herangezogen werden. Daher soll in diesem Vorhaben ein computergestütztes Assistenzsystem als Bestandteil eines Softwareframeworks zur unterstützenden Erstellung von Argumetationsstrukturen entwickelt werden, welches sich auf vorgefertigten, dem Anwendungskontext der Qualitätsprüfungen entsprechenden Templates stützt und die erstellte Argumentationsstruktur zentral verwaltet. Hierfür soll für das Framework eine computergestützte Auditierungsplattform entwickelt werden.

Bei der Entwicklung hochqualitativer KI-Systeme und deren Auditierung sind Fachkräfte mit tiefem KI-Wissen erforderlich. Zahlreiche Studien zeigen aber, dass insbesondere im Mittelstand der geringe Einsatz von KI-Systemen durch fehlendes Knowhow und fehlende Fachkräfte begründet ist. Folglich sind kleine und mittelständische Unternehmen (KMU) auf Dienstleister für die Entwicklung von passgenauen und leistungs-fähigen KI-Systeme angewiesen. Diese Systeme müssen aber auditiert werden, um sicherzustellen, dass die Anforderungen erfüllt sind, was wiederum KI-Knowhow erfordert. Um diesen Teufelskreis zu durchbrechen, soll mit diesem Vorhaben insbesondere für KMU eine Lösung bereitgestellt werden, welche die Qualifizierung von KI-Systemen auch ohne eigene KI-Fachleute erlaubt.
Wesentliche wirtschaftliche Vorteile ergeben sich für alle Branchen, die technische Bauteile herstellen und zur Qualitätsprüfung KI-Systeme einsetzen oder deren Einsatz planen. Wichtige Wirtschaftszweige sind u.a. Maschinenbau, Prozesstechnik, Medizintechnik, Mikrosystemtechnik und Fahrzeugtechnik. Weiterhin ergeben sich Vorteile insbesondere in Bereichen, in denen hohe Stückzahlen gefertigt werden und somit eine manuelle Qualitätsprüfung unmöglich oder unwirtschaftlich ist, in denen hohe Qualitätsanforderungen gelten oder wo Produktionsprozesse nicht hinreichend stabil sind, so dass Abweichungen in der Produktqualität vermehrt vorkommen können. Weiterhin bietet sich eine ML-basierte Qualitätsprüfung in der variantenreichen Produktion und/oder einer Produktion mit kleinen Losgrößen an, da hier regelbasierte Algorithmen zur Qualitätsprüfung zu starr sind und wiederkehrende hohe Einrichtaufwände (z.B. für Regeldefinition, Parametrierung) verursachen. Jenseits produzierender Unternehmen bietet das Vorhaben Innovationspotential für KI- und Prüfdienstleister zur Selbstauditierung von KI-Systemen für Kunden oder zum Einsatz der Forschungsergebnisse im Entwicklungsprozess, um bereits frühzeitig die Passfähigkeit des Systems an Kundenanforderungen prüfen zu können.

Die manuelle Sichtprüfung ist in der Industrie insbesondere bei der Oberflächenprüfung von Bauteilen immer noch weit verbreitet. Automatisierte Lösungen auf Basis von Kamerabildern und klassischen regelbasierten Prüfverfahren scheitern häufig an der Varianz der Fehlerausprägung im Bild bedingt durch die optischen Eigenschaften der zu prüfenden Bauteile und Umgebungseinflüsse auf das Prüfsystem. KI-basierte optische Prüfsysteme kommen mit diesen Änderungen erheblich besser zurecht, benötigen in der Regel jedoch ausreichend Bilddaten, vor allem Bilder mit den annotierten, auftretenden Defekten für das Training der KI, um eine zuverlässige Erkennung und Klassifizierung von Defekten zu ermöglichen. Meist stehen bei der Entwicklung des Prüfsystems jedoch nur wenige fehlerhafte Bauteile zur Verfügung, die für die Auslegung und Parametrisierung des optischen Prüfsystems mit der Bildverarbeitungssoftware herangezogen werden können. 

Um für KI-basierte Inspektionslösungen hier eine breite Datenbasis zu schaffen und das aufwendige Labeln der Fehlerbilder drastisch zu reduzieren oder komplett zu vermeiden, werden sensorrealistische Bilder des Bauteils mit den unterschiedlichen Fehlern synthetisch erzeugt. Für den Anwendungsfall der Oberflächenprüfung von Lochscheiben wurden für die unterschiedlichen Defekttypen Dellen, Beulen, Kratzer und Kantenausbrüche synthetische Fehlerbilder in großer Anzahl und Variation erzeugt und zusätzlich auch einige reale Kamerabilder der Lochscheiben mit unterschiedlichen Defekten aufgenommen.

Auf Basis der synthetisch erzeugten Bilder konnte eine robuste KI-basierte Defekterkennung und –klassifikation umgesetzt werden. Ein Demonstratoraufbau zur Oberflächenprüfung der Lochscheiben mit Kamera, Beleuchtung und KI-basierter Auswertesoftware sowie der zugehörigen umfangreichen Datenbasis aus realen und synthetischen Bildern steht zur Verfügung und kann im Rahmen des Projekts AIQualify hinsichtlich der Qualifizierung KI-basierter Prüfapplikationen untersucht werden.