Was das Zusammenspiel aus Condition Monitoring und Machine Learning leisten kann

Egal wo nach den Begriffen Condition Monitoring (Zustandsüberwachung) oder Machine Learning (Maschinelles Lernen) gesucht wird, es finden sich in den Suchmaschinen mehr als 1 Milliarde Einträge dazu. Verständlich, denn in Zeiten von Digitalisierung, Industrie 4.0 und IoT sind sie zentraler Bestandteil von Vernetzung und Datenerfassung bzw. -verarbeitung. Deren Relevanz hat in den letzten Jahren in den Unternehmen enorm zugenommen – zweifelsfrei handelt es sich bei den Buzzwords um Begriffe, die in aller Munde sind. Was die Zustandsüberwachung von Maschinen, Anlagen und Geräten leisten kann und wo Maschinelles Lernen ansetzt, um aus Daten automatisch Muster und Zusammenhänge abzuleiten, hat Dipl. Ing. Christoph Wilding mit einem Praxistest im Rahmen seiner Diplomarbeit ganz genau unter die Lupe genommen. Im Interview beantworteten er und Data Scientist Dipl. Physiker Maik Pertermann die wichtigsten Fragen und ordnen die Buzzwords auf Grund ihrer Komplexität anhand des recht alltäglichen einfachen Anwendungsbeispiels einer Waschmaschine ein. 

Was leistet Condition Monitoring und wo kann es eingesetzt werden?

Christoph Wilding: Die Zustandsüberwachung von Maschinen, Anlagen und Geräten ist besonders nützlich, um den Status von Maschinen im historischen Verlauf zu verstehen und sicherzustellen, dass diese optimal und effizient laufen. Bei der Statusermittlung handelt es sich immer um eine Momentaufnahme, die über den Zeitverlauf als Trend ausgewertet wird und so Leistungsänderungen sichtbar macht. Dies wiederum ermöglicht es, den Verschleiß von Maschinenteilen   aufzudecken und die betroffenen oder verursachenden Komponenten zu identifizieren oder Prozessoptimierungen anzustoßen. 

Maik Pertermann: Diese Art der Überwachung hat aber auch seine Grenzen. Denn wenn die mit der Zustandsüberwachung verbundene Datenaufzeichnung lediglich zyklisch (z.B. einmal in der Woche) erfolgt, kann auf Grund geringer Datenlage meist keine aussagekräftige Analyse und damit einhergehende verlässliche Prognose über mögliche Ausfallzeiten gegeben werden. Abhilfe schaffen hier Systeme, die den Maschinenzustand in Echtzeit 24/7 überwachen, den Datenfluss automatisieren und eine kontinuierliche Analyse ermöglichen.

Was sind die größten Herausforderungen bei einem Retrofit von Maschinen und Anlagen?

Christoph Wilding: Die größten Herausforderungen für Unternehmen, die ein Retrofit in Betracht ziehen, sind die hohen Umrüstungskosten, fehlendes Know-how und Bestandsanlagen, die nicht über geeignete Sensorik und/oder Schnittstellen verfügen. Dies steht aber im Wiederspruch zu den Zielen, die sich viele Unternehmen gesetzt haben:

• Digitalisierung voranbringen
• Effizienz der Anlagen steigern
• Maschinen und Anlagen kontinuierlich überwachen 
• Stillstandzeiten durch vorausschauende Wartung verringern

Genau dieses Dilemma sollte die Entwicklung des Monitoringsystems im Praxistest lösen.

Warum fiel die Wahl des Anwendungsfalls auf eine Waschmaschine an der ein Retrofit durchgeführt wurde?

Christoph Wilding: Die Waschmaschine wurde ausgewählt, da eine hohe Ähnlichkeit zu realen Maschinen vorhanden ist. Sie ist von außen eine Art Blackbox, verfügt über viele Programme und eine für Haushaltsgeräte hohe Komplexität sowie über zahlreiche Komponenten wie Wasserzulaufventile, eine sich drehende Trommel in Lauge mit verschiedenen Geschwindigkeitsstufen und unterschiedlichem Beladungsgewicht durch Wäschezugabe. Der Betriebsmodus der Waschmaschine ist dabei von folgenden Elementen abhängig, die ebenfalls andere Aktoren der Waschmaschine beeinflussen:

• Waschtemperatur (z.B. 40 °C oder 60°C), die vom Nutzer ausgewählt wird und das Verhalten des Heizelements beeinflusst 
• Waschprogramm, z.B. Koch- oder Buntwäsche
• Waschphasen, z.B. Spülphasen 
• Maschinenaktivitäten, z.B. Waschen 

Wie wurde das passende Monitoringsystem für die Waschmaschine aufgesetzt?
 

Christoph Wilding: Zu Beginn wurden Sensoren ausgewählt, die das Verhalten der Waschmaschine möglichst gut aufzeichnen und mit denen messbare Größen an der Waschmaschine bestimmt werden können. Dazu gehörten die Aufnahme von Schwingungen über Vibrationssensoren und Audiosignal sowie Leistungsaufnahme mittels Strommessung. Darauf aufbauend wurden die Messgrößen Systemzuständen zugeordnet und Merkmale gesucht, welche die Daten mit maschinellen Lernalgorithmen nutzbar machen. Erst nach der Entwurfsphase erfolgte der Großteil der Datensammlung.

Wie gestaltete sich das Setup in der Praxis? 
 

Christoph Wilding: Das Setup setzte sich aus einer handelsüblichen Waschmaschine zusammen, die mit einem Strommessgerät des Herstellers myStrom für die Messung der Leistungsaufnahme sowie mit einem Multisensor von Bosch, dem Bosch Connected Industrial Sensor Solution (Bosch CISS, Beschleunigungssensor, Gyroskop, Magnetometer, Temperatursensor) oder von Sensry, dem Sensry Kallisto (Beschleunigungssensor, Gyroskop, Magnetometer) ausgestattet wurden. Die Sensoren wurden jeweils an der Frontseite der Waschmaschine unter der Tür installiert, um nicht invasiv in die Maschine eingreifen zu müssen. Zur Audioaufzeichnung wurden die in den Android Notebooks, Smartphones oder Tablet-PCs integrierten Mikrofone genutzt, auf denen auch die Messanwendung (grafische Oberfläche) zur Eingabe der Metadaten des Waschvorgangs (Waschprogramm, Temperatur, Optionen) lief. 

In welchem Zeitraum wurden Daten erfasst und welche Rahmenbedingungen wurden geschaffen? 

Christoph Wilding: Insgesamt wurden für den Praxistest jeweils 30 Waschdurchgänge mit drei verschiedenen Waschmaschinentypen mit unterschiedlichen Programmabläufen und Beladungen über einen Zeitraum von 10 Wochen durchgeführt. Die Daten wurden abhängig von ihren Eigenschaften mit unterschiedlicher Frequenz im Sekundenbereich aufgezeichnet (Audio 44,1 kHz, Multisensor 100 Hz, Stromverbrauch 0,2 Hz).

What was the setup like on the machine? 

Christoph Wilding: The monitoring system consisted of three components:

• Detection of machine activity
• Detection of washing temperature, phase and program
• Detection of anomalies or deviations from data learned

Wie war das Vorgehen bei der Erkennung der Maschinenaktivität?
 

Christoph Wilding: Das Vorgehen lässt sich am besten anhand folgender Schritte beschreiben:

• Aggregierte Messwerte labeln
• Merkmale extrahieren
• Lernalgorithmus trainieren: Neuronales Netzwerk, Entscheidungsbaum (CART), Support Vector Machine (SVM)
• Evaluieren der trainierten Modelle anhand neuer Datensätze mit denen nicht trainiert wurde und weiterer Optimierung der Modelle
• Maschinenaktivität anhand neuer Datensätze erkennen und Vergleich verschiedener Lernalgorithmen

Welche Messgrößen beeinflussten das Monitoringsystem besonders? 

Christoph Wilding: Beeinflusst wird das Monitoringsystem durch Vibration, Audiosignal, Stromverbrauch und Prozesszeit. Vibration ist die in der Praxis häufig verwendete Größe zur Bestimmung des Betriebsmodus und Maschinenzustands. Die unterschiedlichen Schwingungen ermöglichen es Rückschlüsse auf die Maschinenaktivität abzuleiten. Das Audiosignal dient der Bestimmung des Betriebsmodus und erweist sich als besonders effektiv bei der Erkennung von Anomalien in Verbindung mit maschinellem Lernen. Der Stromverbrauch der Waschmaschine wird durch die Temperatur und den gewählten Waschgang beeinflusst. Die Momentanleistung gibt hier gut Rückschlüsse auf die Aktivität des Heizelements und der Verlauf des Stromverbrauchs auf das genutzte Waschprogramm. Die Prozesszeit bzw. die Ablaufzeit der verschiedenen Waschprogramme unterscheiden sich aufgrund der Länge der Reinigungsphase deutlich voneinander, was die Erkennung des Waschprogramms erleichtert.

Was sind die Voraussetzungen, um Machine Learning erfolgreich durchführen zu können? 

Christoph Wilding: Kurz gesagt: Daten, Daten, Daten – und zwar nicht irgendwelche Daten, sondern qualitativ hochwertige und aussagekräftige Daten, die unter ähnlichen Bedingungen ermittelt wurden. Dabei sollten die Einflussfaktoren bekannt sein. 

Maik Pertermann: Eine weitere Voraussetzung ist natürlich die richtige Wahl der Sensorik, was ein gutes Verständnis über die Programm- und Prozessabläufe voraussetzt.

Wie werden Anomalien erkannt? 

Christoph Wilding: Um Anomalien zu erkennen, ist es im ersten Schritt notwendig, dass laufend Daten aus dem störungsfreien Betrieb (Normzustand) des Live-Systems zur Verfügung stehen, um diese zu qualifizieren und im Umkehrschluss Abweichungen detektieren zu können. Im zweiten Schritt gilt es Abweichungen einzugrenzen. Dabei spielen der Mensch und das Domainwissen häufig eine entscheidende Rolle, um die Anomalie zu benennen…

Maik Pertermann: … und als Datenwissenschaftler (Data Scientist) dafür ein geeignetes Modell zu erstellen. 

Welche Grenzen und Einschränkungen gibt es in Hinblick auf die Anomalie-Erkennung?
 

Maik Pertermann: Sind eine Vielzahl qualitativ hochwertiger Daten, die den Normalzustand und Anomalien beinhalten, über einen genügend langen Zeitraum vorhanden und stehen dem Training eines Modells zur Verfügung, dann ist eine sehr gute Erkennung möglich. Sind diese Daten lückenhaft, stößt die Anomalie-Erkennung an ihre Grenzen. Außerdem muss die Anomalie mit Sensoren erkennbar sein. Das Auslaufen der Waschmaschine wäre zum Beispiel ohne geeignete Sensorik nicht zu erkennen.

Welche Lernmethode wurde angewendet? Wie können Ausreißer in den Daten erkannt werden?

Christoph Wilding: Für das Erkennen der Maschinenaktivität wurde das überwachte Lernen genutzt, indem ein mit Label versehenes Trainingsdatenset verwendet wurde, um die maschinellen Lernalgorithmen zu trainieren. Hierfür wurden im Vorfeld die Anomalien anhand der in der Waschmaschine enthaltenen Komponenten festgelegt: Defekt des Motors (P1), Defekt des Stoßdämpfers (P2), Defekt der Magnetventile (P3), Defekt der Laugenpumpe (P4), Defekt des Keilriemens (P5) oder Defekt des Heizelements (P6). Anschließend wurde die Erkennung des Maschinenzustandes an unbekannten Daten mithilfe des trainierten Modells durchgeführt.

Wie wurde die Genauigkeit der Erkennung der Maschinenaktivität validiert?

Christoph Wilding: Für die Bewertung der Güte wurde der sogenannte F1-Score herangezogen, der die Bewertungsmetriken Precision (Rate der Fehlalarme) und Recall (Rate der richtig erkannten Anomalien) zu einer Gesamtgenauigkeit kombiniert. Mit dem Lernalgorithmus Support Vector Machine (SVM) konnte die Maschinenaktivität unter Berücksichtigung der Gesamtdaten mit einer Genauigkeit von 98 % ermittelt werden. Für die Teilmengendaten Vibration (83 %) und Audiosignal (97 %) mittels SVM sowie für Stromverbrauch (90 %) mittels Entscheidungsbaum (CART) wurden dabei die höchsten F1-Scores erreicht. Wie diese Ergebnisse anschaulich visualisiert werden, soll exemplarisch die untere Konfusionsmatrix basierend auf den kombinierten Sensordaten für CART zeigen. 

Was sind die Vorteile von vorausschauender Wartung?
 

Christoph Wilding: Vorausschauende Wartung bezeichnet die Instandhaltung von Maschinen basierend auf ihrem tatsächlichen Zustand, der insbesondere durch das Auswerten von Sensordaten und Condition Monitoring ermittelt werden kann. Damit lässt sich die Wartung dahingehend optimieren, dass sich die Wartungskosten verringern, die Nutzungsdauer der Maschine verlängern sowie die Produktivität erhöhen lassen. 

Welches Handwerkszeug ist für die Durchführung eines solchen Retrofits notwendig?

Christoph Wilding: Hier würde ich drei Dinge nennen wollen:

• Automatisierte sammeln der Daten 
• Versierter Umgang mit Machine Learning Tools wie Python, Entscheidungsbäumen und künstlichen neuronalen Netzen wie Tensor Flow , sowie Microsoft Azure Cloud-Computing für das Trainieren
• Datentransformation und Statistik, denn ähnliche Datendimensionen unterschiedlicher Messgrößen (z.B. Temperaturen und Feuchte) sind essenziell, um diese weiterverarbeiten zu können 

Maik Pertermann: Darüber hinaus möchte ich noch zwei weitere Punkte ergänzen. Zum einen der direkte Wissensaustausch zwischen Anlagenbetreiber vor Ort, Operator oder Ingenieur, der sich mit der Maschine auskennt und gegebenenfalls mit den Eigenarten vertraut ist, ist für Datenanalysten wie den Data Scientist essenziell. Zum anderen die gute Datenvorverarbeitung, wie das Bereinigen von Ausreißern, da dies Qualität der Ergebnisse erheblich beeinflusst.

Wie verlief die Messung in der Praxis? Gab es Komplikationen und wie wurden diese gelöst? 

Christoph Wilding: Hier gibt es verschiedene Themen. Die Vibrationsdaten waren nicht sehr aussagekräftig, was vorwiegend an der Kalibrierung der Sensorik lag. Im Verlauf des Praxistests hat sich zudem herausgestellt, dass ein Hochfrequenz-Modul   besser geeignet gewesen wäre, auch an eine Rekalibrierung wäre im Vorfeld zu denken. Eine Sensorplatzierung nahe dem Motor, für eine optimale Schwingungsaufnahme dessen, kam aufgrund der Rahmenbedingungen des Praxistests nicht in Betracht, dies hätte die Genauigkeit der Ergebnisse gegenüber der Anbringung außerhalb des Gehäuses erheblich erhöht. Da das Metallgehäuse abschirmend wirkt, konnte die Temperatur auch nur unzureichend erfasst und Einflüsse der Außentemperatur nicht verlässlich ausgeschlossen werden. Die Magnetfelddaten, zum Beispiel zur Ermittlung der Aktivität und Drehgeschwindigkeit des Motors, konnten ebenfalls nur sehr ungenau aufgezeichnet werden, da die Abtastrate nicht ausreichte und durch das Gehäuse der Waschmaschine das Magnetfeld des Motors stark abgeschirmt wurde. Zudem gab es eine anfänglich eingeschränkte Genauigkeit bei den Zeitstempeln von Messwerten aufgrund des Zeitversatzes bei der USB-Übertragung des CISS-Sensors.

Maik Pertermann: Gelöst wurden die meisten Herausforderungen bei der Aufzeichnung der unterschiedlichen Sensordaten dadurch, dass eine genaue Betrachtung dieser hinsichtlich des Zeitstempels vorgenommen werden musste. Als dann bekannt wurde, welche Sensordaten jenen Zeitverzug beinhalteten, konnten diese entsprechend korrigiert und somit aufeinander zeitlich abgestimmt werden.

Welche Messwerte hatten den größten Einfluss auf die Erkennung der Maschinenaktivität? Welche Erkenntnisse waren am überraschendsten? 

Maik Pertermann: Besonders überraschend hierbei war, dass allein durch das Audiosignal zusammen mit einem recht simplen Algorithmus ein starkes Modell erstellt werden konnte, dass eine sehr gute Trefferquote hinsichtlich der Maschinenaktivität und deren Vorhersage ermöglichte. Dass die Vibration hingegen so wenig Einfluss auf die Erkennung der Maschinenaktivität hat, hat doch sehr überrascht. Denn die meisten dürften dies als besonders charakterisierendes Merkmal im Kopf haben.

Christoph Wilding: Ein weiterer wichtiger Messwert war der Stromverbrauch, der sowohl Rückschlüsse auf die Waschtemperatur als auch auf die Maschinenaktivität zuließ. Bei hohem Stromverbrauch befindet sich die Waschmaschine entweder in der Heizphase bis 2000 kW oder schleudert momentan. Bei niedrigem Stromverbrauch befindet sich die Waschmaschine im Wasch- oder Einweichmodus oder Wasser wird zu- oder abgeführt. Auf die Ermittlung der Vibration hätte hingegen verzichtet werden können, da in den gesammelten Vibrationsdaten ein zu hohes Rauschen und somit zu wenig eindeutige Signale vorhanden waren. 
Erste Muster und Zusammenhänge konnten anhand des Audiosignals und Stromverbrauchs bereits nach nur wenigen Waschgängen abgeleitet werden und wurden durch die hohe Genauigkeit der Messergebnisse untermauert.

Welches Mindset braucht es, um Machine Learning für Retrofit Use Cases erfolgreich zu etablieren?

Maik Pertermann und Christoph Wilding:

• Freude am Verstehen und Analysieren von Prozessen.
• Experimentieren mit Sensorik und sich nicht von Fehlschlägen abschrecken lassen.
• Interesse am Maschinellen Lernen und Analysieren von Daten.
• Experimentierfreude, was Parameterauswahl und Lernalgorithmen miteinschließt.
• Keine Angst vor Fehlschlägen: Ganze Messreihen fehlplatzierter oder falsch kalibrierter Sensoren müssen bei Bedarf vernachlässigt oder nachgemessen werden, da Messparameter nicht passen. Dabei kann es sein, dass das teuerste Bauteil am wenigsten Nutzen bringt. 
• Kosten-Nutzen-Analyse im Vorfeld ist der Schlüssel, wenn Condition Monitoring langfristig eingesetzt werden soll.    

Wie könnte das Monitoringsystem skalieret werden und welche Datenmengen wären dafür notwendig damit diese statistisch repräsentativ sind?     

Christoph Wilding: Eine mögliche Skalierung wäre, das Monitoringsystem auf weitere Waschmaschinen und andere Maschinen auszuweiten. Darüber hinaus gibt es noch weitere Stellschrauben. Diese reichen vom Einsatz von Hochfrequenzsensoren über die Anwendung von anderen statistischen Methodiken bis zum Einsatz von   künstlichen Neural Networks und einem größeren Umfang an Daten zur Analyse und Modellentwicklung. 

Maik Pertermann: Der Umfang der Daten hängt dabei häufig mit der Taktung der Prozesse zusammen. Sich schnell verändernde Prozesse brauchen eine erhöhte Prozessdatenaufnahme, um auch kleine Veränderungen aufzunehmen. 

Spielen Sie ebenfalls mit dem Gedanken Condition Monitoring einzuführen oder ein Machine Learning Projekt umzusetzen und würden Sich gerne dazu mit unseren Expert*innen austauschen? Hier können Sie einen Termin vereinbaren.