Federated Learning und seine Anwendung in der Industrie 4.0 mit Michael Kühne-Schlinkert

00:00:01: datamics Hallo und herzlich willkommen zur nächsten Episode des Podcasts Data Science mit Milch und Zucker. Ich freue mich, heute Michael Kühne-Schlinkert, Founder und CEO von der Cthulhu GmbH zu begrüßen. Wir haben heute ein ganz spannendes Topic über Federated Learning. Aber zunächst zu dir, Michael, möchtest du dich kurz nochmal vorstellen?

00:00:21: Michael Ja, natürlich. Ja, erstmal vielen Dank für die Einladung. Genau, kurz zu mir, Michael König-Linkert, Gründer und Geschäftsführer von Cthulhu, wie du schon sagtest. Mein Background ist so im Bereich Computer Science und Business Administration. Hab irgendwann mal Wirtschaftsformate von langer, langer Zeit nur ein System studiert und das Ganze hat mich dann so sehr in den Cloud-Bereich geführt vor vielen Jahren und als dann vor so

00:00:46: Michael fast acht, neun Jahren eigentlich der ganze Industrie 4.0-Hype anfing, hat mich das dann auch tatsächlich in diesen ganzen Kontext der industrial AI, industrial tech gebracht.

00:00:58: Michael Ich habe dann mit einen eigenen Firmen eben erstmal Lösungen entwickelt für Industrieunternehmen. Der eine oder andere kennt vielleicht die KSB, das ist einer der weltgrößten Pumpenhersteller. Vielleicht habt ihr sogar im Keller eine Pumpe von denen. Und für die haben wir zum Beispiel eine Frictive Maintenance Lösung entwickelt.

00:01:18: Michael Ja gut sieben Jahren war das so die erste Predictive Mentalism für Industrie-Pumpen, die komplett agnostisch war. Und das war für mich auch tatsächlich so der erste Berührungspunkt mit AI oder in diesem Fall tatsächlich eben Industrial AI.

00:01:31: Michael Und da haben wir eben einfach einige Challenges durchlebt und gesehen. Insbesondere, wenn man dann eben so den kleineren Bereich verlässt und nicht mehr mit den Stadtwerken redet, sondern eben mit großen Chemiekonzernen, dann ist das Thema Datenteilung auf einmal ein Riesenthema und extrem komplex. Und wir alle wissen ja, dass damit wir

00:02:00: Michael Das war eine ziemliche Herausforderung. Das hat das ganze ein bisschen erschwert, hat für uns die Adaption eben auch erschwert und das war tatsächlich dann so der Grund, weshalb wir vor

00:02:16: Michael die wir eben in, nicht nur diesem Kundenprojekt, das ist eins, das ich jetzt explizit schön beschreiben kann, auch einen anderen eben gemacht haben, entschieden, okay, da muss es eigentlich eine Lösung für geben, da muss es eigentlich einen besseren Weg geben, und da muss es vor allem auch einen Weg geben, der über den Research hinausgeht und anwendbar ist für die Industrie. Und das war tatsächlich dann so die Geburtsstunde von eben Cthulhu in der Form, wie wir es heute machen, wo ich dann im Prinzip so die Transition eben, ja, in der Form, wie wir es heute machen,

00:02:42: Michael organisiert habe. Ich bin immer für sich immer so ein bisschen das Bindeglied zwischen Business und Tech gewesen, weil ich einen beiden Bereichen im Background habe. Genau, und Fokus im Prinzip, wo ich mich eben heute vor allem mit auseinandersetze, ist tatsächlich, wie können wir eben Künstlerintelligenzindustrie wirklich anwendbar machen, vor allem, wenn wir eben von großgradierendem System sprechen, die sich über mehr als eine Maschine oder einen Standort hinweg erstrecken.

00:03:08: datamics Ja, sehr spannendes Thema. Gehen wir nochmal in Industrie 4.0. Ich gehe davon aus, dass die Teilnehmer wissen und auch Productive Maintenance. Aber was ist jetzt Federated Learning, was du angesprochen hast? Vielleicht können wir da noch ein bisschen eintauchen, auch so ein bisschen in Bezug zu Industrie 4.0. Wie hängt das Ganze damit zusammen?

00:03:25: Michael Klar, total gerne. Genau, also normalerweise ist es ja so, wir schauen, dass wir alle Daten sammeln. Wir zentralisieren eben unsere Daten in der Cloud oder trainieren eben lokal unsere Modelle auf unserem Laptop. Das funktioniert in der Industrie nur bedingt. Das erfordert nämlich die Bereitschaft von den Dateneigentümern, dass wir diese Daten überhaupt nutzen können. Und wenn wir uns das so vorstellen, haben wir

00:03:53: Michael haben ja alle so die ganze Thematik eben im Kontext von Gen.AI mitbekommen, was für Datenmengen teilweise eben genutzt werden, vor allem an Public Data.

00:04:02: Michael Die Public Data ist tatsächlich ein Bruchteil dessen, was wir eigentlich theoretisch nutzen könnten. Also man geht eigentlich davon aus, dass wir eigentlich so 80-90% der Daten, die es weltweit gibt, gar nicht nutzen können, weil sie eben nicht public sind, weil sie eben privat sind. Und wenn ich jetzt ein gutes Modell in der Industrie trainieren möchte, habe ich genau das Problem, dass ich eben an diese Daten gar nicht rankomme.

00:04:24: Michael und da kommt eben Federal Learning ans Spiel. Anstatt eben alle Daten in die Cloud zu senden und dort unser Modell zu trainieren, gehen wir genau den gegensätzlichen Weg, dass wir eben die KI zu den Daten bringen und dort im Prinzip die Modelle trainieren. Also heißt, wir starten eben mit einem Initialmodell, das wir vielleicht auf Testdaten trainiert haben, auf Daten, die wir in einem Labor erhoben haben und rollen dann dieses Modell zu unseren unterschiedlichen Maschinen oder Fabriken aus, eben zu den Dateneigentümern,

00:04:54: Michael und trainieren dann dort mit diesen Daten entsprechend das Modell weiter und übertragen nachher dann eben nur die Gewichtungen, also die Parameter der Modelle zurück in die Cloud.

00:05:05: Michael Und im einfachsten Fall kann man sich so vorstellen, dass wir dann nachher von diesen Gewichtungen, von den Parametern den Durchschnitt bilden und das ergibt dann ein verbessertes Modell, was wir dann nachher wieder zurücksenden. Da kann man auch ganz viele unterschiedliche Ebenen einziehen, um Privacy sicherzustellen, um eben auch Modelle zu trainieren, ohne jemals Daten gesehen zu haben. Also das ist erstmal so der Basis, mit der man im Prinzip startet.

00:05:29: Michael Genau der Kontext im Prinzip zur Industrie. Das ist genau, was ich eben eben meinte. Industrie 4.0 hat ja eben mit sehr simplen Lösungen gestartet. Und diese Industrie AI gibt es eben ganz, ganz viele Dinge, die einfach daran kranken, dass sie eben diesen Datenzug nicht haben. Das ist eben genau der Punkt, wo Federated Learning eben super helfen kann. Mhm.

00:05:48: datamics Also als Beispiel könnte man es auch nochmal, kann man vielleicht das Auto nehmen. Jeder fährt oder viele fahren jetzt ein Auto, es ist ein eigenes Auto, sitzen drin, das Auto. Ich glaube früher waren mal so Datenmengen von einen Terabyte pro Tag. Ich weiß jetzt nicht, wie viele das sind, die ganzen Sensoren sind ja Unmengen an Daten und die können jetzt ja die Automobilunternehmen normalerweise nicht alle Daten in die Cloud setzen und da die Machine Learning Modelle trainieren, sondern ich würde sagen in diesem Beispiel, wir schicken dann einfach das Modell

00:06:00: Michael Mhm. Mhm. Mhm.

00:06:16: datamics In jedes Auto wird da trainiert, zum Beispiel ein Millionen Autos von einem Automobilhersteller, ganz weltweit wird da trainiert. Dann werden die Trainingsergebnisse, die Modelle zum Beispiel zurückgeschickt, das ist dann nicht mehr ein Terabyte, sondern ist dann vielleicht 50 Megabyte, nur mal eine Zahl, und hat das Ganze komprimiert. In der Cloud werden dann nochmal über die Modelle normalisiert sozusagen, dass sie nochmal verallgemeinert werden.

00:06:30: Michael Ja. Mhm.

00:06:41: datamics Und dann wird das allgemein alte Modell praktisch wieder in das Auto zurückgeschickt. Die Daten an sich bleiben dann beim Eigentümer. Dann brauche ich jetzt als Autobesitzer zum Beispiel keine Angst haben, dass meine Daten oder meine Bilder, wie ich im Auto sitze und fahre, sonstige Bilder irgendwie in die Cloud geschickt werden, sondern es bleibt alles schön bei mir im Auto und dann das fertig trainierte Modell kommt zurück.

00:07:02: Michael Ganz genau richtig, also sprichst du tatsächlich auch eine sehr, sehr wichtige Motivation von vielen unseren Kunden an tatsächlich, denn es ist nicht nur eben der Schutz der eigenen Daten, dass die Daten eben privat bleiben und nicht geteilt werden, sondern tatsächlich auch eben die kosteneffiziente Skalierung.

00:07:18: Michael Das ist nämlich genau so ein Punkt, wenn ich mir eine moderne Fabrik nehme, die produziert über 2000 Terabyte an Daten pro Monat. Die kann ich heutzutage technisch in die Cloud übertragen, die Frage ist, ob das Sinn macht und natürlich kann ich da eine Voraggregation machen, ähnliches, aber es ist tatsächlich in solchen Fällen noch viel effizienter und kostengünstiger eben,

00:07:39: Michael das vor Ort zu machen. Es gibt noch ganz viele andere Aspekte, die wir eben auch da betrachten, dass eben viele Kunden von uns tatsächlich eben genau zu Beginn sagen, wir können dadurch tatsächlich kosteneffizienter skandieren, weil ich eben genau die Möglichkeit habe eben mit einem System, was ich wo ich zentral zwar eben die Insights zusammenführe, trotzdem eben dezentral eben die Insights generiere und dadurch tatsächlich insgesamt auch deutlich kosteneffizienter bin. Kann ich gerne noch mal

00:08:08: Michael Spielt einfach auch ein bisschen in Detail eingehen, aber das ist tatsächlich auch ein ganz entscheidender Punkt. Vielleicht wichtig in dem Kontext auch noch bei Federated Learning, es gibt eben so ein paar Punkte, eben warum auch Daten nicht geteilt werden. Das ist, glaube ich, auch nochmal wichtig zu verstehen. Geht natürlich zum einen eben dieses Persönliche oder eben auf Unternehmen bezogen. Ich möchte meine Daten nicht teilen, weil ich eben meine Geschäftsgeheimnisse schützen möchte, weil ich eben auch bestimmte Dinge einfach nicht mit

00:08:37: Michael anderen teilen möchte, die vielleicht eben in einer ähnlichen Industrie tätig sind. Es gibt aber auch tatsächlich ganz viele rechtliche Hürden. Also DSGVO, GDPR ist sicherlich jedem bekannt. Da gibt es auch definitiv Einschränkungen. Es ist dann eher so Richtung Marketing. Da machen tatsächlich auch der eine oder andere von unseren Kunden einige Dinge. Tatsächlich, was viele gar nicht wissen, was ganz spannend ist, Produktionsdaten fallen unter die Exportkontrolle.

00:09:03: Michael Also, wenn ich Produktionsdaten aus Deutschland nach China exportieren möchte oder in eine andere Richtung, muss ich sicherstellen, dass man mit diesen Produktionsdaten nicht dieses Gut nachbauen kann, wenn es dann unter Dual-Use fällt. Und unter Dual-Use fällt auch eine Maschinensteuerung. Was natürlich super spannend ist, bedeutet eben, ich habe tatsächlich auch in Unternehmen diesen Skaldierungsaspekt, den ich betrachten muss, kann ich überhaupt meine Daten über Ländergrenzen hinweg zusammenführen? Was für globale Unternehmen vorwiegend diese Technik, die ich aktuell einsetze, eben ein zentraler Aspekt ist.

00:09:34: datamics Ich glaube, die Vorteile sind klar. Erst mal die Kosten, zweitens Datenschutz, dann irgendwelche rechtlichen Einschränkungen wie Export. Was du gesagt hast, ich denke mal, das ist ganz klar. Aber es macht ja nicht jeder jetzt federated learning. Eigentlich ist es sinnvoll, dass es jeder einsetzt. OpenAI, alle haben noch zentrale Daten. Wo sind dann die Herausforderungen? Warum wird federated learning noch nicht eingesetzt? Oder wie gut ist dann die Qualität momentan?

00:10:03: Michael Also es gibt diverse Open Source Frameworks draußen, die sich aber sehr stark auf die Forschung konzentrieren. Sie sind sehr, sehr research heavy und da geht es im Vielfach darum, den nächsten, noch besseren Algorithmus zu entwickeln, der diese Modelle zusammenführen kann.

00:10:24: Michael Die Herausforderung ist tatsächlich aber gar nicht mal dieser Algorithmus, der die Modelle noch besser zusammenführt. Die Herausforderung ist tatsächlich eher, wenn ich ein verteiltes System betrachte und wir bewegen uns hier einfach im Bereich der verteilten Systeme und wir haben verteiltes Problem.

00:10:41: Michael Und ich möchte trotzdem noch die Privatsphäre dieser Daten, eigentlich immer dieser Locations, sicherstellen, weil ich vielleicht gar nicht in die unterschiedlichen Fabriken rein sehen darf. Vielleicht biete ich eine Lösung meinen Kunden an. Dann wird dieses Problem deutlich komplexer, wenn ich im Prinzip blind den sagen muss, hey, du musst jetzt das und das machen, damit du meine Lösung nutzen kannst. Das funktioniert dann.

00:11:06: Michael wenn ich mich im Prinzip in einem sehr homogenen Umfeld bewege. Tatsächlich verwenden wir alle bereits Federated Learning auf unseren Smartphones. Also Apple nutzt das, um diese Wortvorschläge zu trainieren. Da haben wir aber eben ein Umfeld, das überall gleich ist. Überall ist das Betriebssystem gleich, überall ist die Hardware verhältnismäßig gleich. In der Industrie ist es alles anders. Und das ist genau die Herausforderung. Ich bewege mich in einem sehr, sehr heterogenen Umfeld, wo

00:11:35: Michael Jede Fabrik anders ist, ich habe überall unterschiedliche Maschinen und diese Heterogenität, die ich in vielen Bereichen vorfinde, macht es eben extrem komplex, weil ich mich damit auseinandersetzen muss, wie bereite ich denn die Daten auf, ohne dass ich die Daten sehe.

00:11:52: Michael Wo läuft denn nachher mein Stück Software? Wir sprechen da vom Agent, der direkt in den Datenquellen läuft. Muss der jetzt erstmal sich eine GPU anschaffen? Kann ich da mich auf vorherige Infrastruktur eben dran connecten? Und ich möchte im Endeffekt vermeiden, dass ich mehr Aufwand nachher produziere und jeder nachher ein eigenes IT-Projekt erst mal macht. Und damit wir es nachher dann wieder treffen und sagen, jetzt machen wir Federated Learning.

00:12:20: Michael dann hätten wir auch direkt alles in die Cloud schicken können. Das ist genau so ein bisschen diese Problem, diese ganzen Hürden, wie kann ich die Daten aufbereiten auf eine Art und Weise, dass ich sie eben nicht sehen muss. Das ist eine sehr, sehr große Hürde, wo eben viele aktuell eben daran scheitern und dann natürlich auch genau der Punkt, ich muss überhaupt erstmal einen gewissen Datensatz haben, um zu starten. Und daran wird es tatsächlich auch

00:12:45: Michael Dann krankt es teilweise auch, das ist dann vor allem in den Bereichen, wo wir entlang von Wertschöpfungsketten im Prinzip lernen. Das ist der vertikale Case, da können wir auch gerne nochmal drauf eingehen, funktioniert ein bisschen anders als den, den wir zuvor beschrieben haben. Gerne.

00:12:59: datamics Ich hätte da jetzt noch mal zwei Fragen oder zwei Richtungen. Einmal hast du gesagt, Apple macht das, federated learning, weil das Betriebssystem gleich ist. Da würde ich auch noch mal ein bisschen gerne, können wir ein bisschen tiefer gehen. Und danach noch mal einen anderen Stream mit Heterogenität, das viele Unterschiede gibt. Vielleicht zuerst noch mal mit den Apple Word Vorschlägen. Oder was ist da das state of the art, wenn man gleiche Systeme hat mit federated Systeme? Gibt es da bestimmte Algorithmen?

00:13:17: Michael Mhm. Ja. Mhm.

00:13:28: datamics Oder wie würde man da vorgehen, wenn man von der Idealwelt sprechen würde?

00:13:32: Michael Genau, also von der Idealwelt, dann habe ich meistens auch schon mal ein erstes Modell, was ich im Prinzip trainieren kann. Also Federated Learning macht vor allem auch dann Sinn, wenn ich eben die Deep Learning Modelle habe, wenn ich jetzt im Bereich von Decision Trees mich bewege.

00:13:48: Michael oder auch mechanistische Modelle kann ich es anwenden. Der Benefit ist längst nicht so groß, als wenn ich wirklich in Modellen etwas fortlaufen lerne. Und anwendbar ist es im Prinzip für jedes Deep Learning Modell. Da muss man ein bisschen schauen, was man für ein Framework verwendet, ob ich durch das Framework entsprechend irgendwelche Limitierungen habe.

00:14:09: Michael Wir haben uns bewusst so aufgestellt, dass wir komplett diagnostisch agieren. Das ist auch eine Denkweise, die im Open Source Bereich recht gut Verbreitung findet, dass viele eben genau diesen Ansatz eben auch folgen und das ähnlich machen. Das heißt, wenn ich ein erstes Modell habe, muss ich natürlich schauen, dass mein

00:14:27: Michael mein Agent, der in den Daten läuft, entsprechend auf dieser Plattform laufen kann. Wenn wir jetzt im Apple-Bereich bleiben, habe ich natürlich gewisse Einschränkungen, die einfach durch die ganze Developer-Umgebung für iOS kommen, mit Swift beispielsweise, was da eben angeboten wird an Libraries. Grundsätzlich

00:14:50: Michael Genau, brauche ich natürlich einen Deployment-Mechanismus, um den Agent auf das Device zu bekommen, was oftmals, also wenn eben auch so ein Punkt ist, wo eben so Open-Source-Frameworks eben

00:15:09: Michael Leider noch nicht die Mechanismen mitliefern, da muss ich dann mir andere Lösungen suchen, um dann genau den dahin zu deployen, aber wenn ich ihn installiere, dann habe ich ihn eben auf dem System und dann ist genau die Frage eben, habe ich jetzt eben wirklich homogene Eingabe-Daten, also sind die Daten bereits aufbereitet und in der idealen Welt sind sie natürlich bereits so, dass ich direkt als Input-Features eben verwenden kann.

00:15:29: Michael um dann direkt das Modell zu trainieren. Sonst kommt natürlich noch genau dieses Thema der ETL Pipelines. Dazu ist genau dieses Thema mit Hedegonität, was ich eben angesprochen habe. Aber in einer relativ simplen Welt kann ich tatsächlich eben einfach mir lokal auch einfach meinen Federate Learning Server starten. Mehrere Agents, die sich daran connecten, um das erst mal lokal zu simulieren. Das ist tatsächlich super simpel, um da auch mal zu starten. Vor allem, wenn ich eben einen gleichführenden Datensatz habe.

00:15:59: datamics Das hört sich spannend an. Es gibt diese Agent Software, die ist Open Source.

00:16:06: Michael Genau so im Prinzip. Es gibt mehrere OMSource-Frameworks für Federated Learning, die sich eben auch im Research-Preis funktionieren. So Flower ist so einzeln bekannt, so hat ML. Genau, die starten im Prinzip alle da, wo sie sagen, okay, du gibst mir die richtigen Eingabedaten. Also, und funktionieren eben für so homogene Systeme eben alle

00:16:31: Michael sehr guten sind eben eine sehr gute Möglichkeit mal etwas zu starten, insbesondere wenn ich einen Bereich eben vielleicht gerade überhaupt erstmal Fuß fassen möchte oder im Bereich vielleicht meine Thesis schreibe, dann ist das eine super Möglichkeit mal eben vor allem so im Linux Umfeld oftmals dann eben zu starten. Der eine oder andere bietet auch einen Support für Android, iOS an.

00:16:52: Michael Genau, aber wenn man starten möchte, ist das definitiv so der Weg zu go. Und genau dieser Agent, den ich beschreibe, ist dann für sich ist es einfach der Client, der da läuft, wo die Daten sind. Und das kann theoretisch, kann es einfach mein Laptop sein, wo ich zwei Datenquellen habe. Und die Datenquelle kann eine CSV-Datei sein, kann eine SQL-Datenbank sein.

00:17:16: Michael Genau, wenn ich es mir ganz simpel machen möchte, starte ich einfach mit irgendeinem CSV-Datensatz, den ich von Kaggle nehme. Da gibt es auch tatsächlich Datensätze, die für Federated Learning geeignet sind. Wir stellen auch beispielsweise einen bereit, das auf Gitter von Kaggle zu finden, spezifisch für Machine Tools, wo es um so Zerspanung geht, aber es ist auch relativ

00:17:42: Michael mit einfachem Aufwand möglich, so einen nicht federateten Datensatz zu teilen, um zu starten.

00:17:49: datamics Das hört sich sehr spannend an. Und wenn wir jetzt noch mal eine Frage, hätte ich dazu noch, die letzte in dem Bereich, gibt es dann, man kann ja wahrscheinlich nicht jeden Algorithmus nehmen, also man kann jetzt nicht sagen, ich nehme die TensorFlow Library, ich habe hier meinen Algorithmus mit in der Cloud, mit zentralen Daten trainiert und ich schmeiße ihn einfach rüber in den Agent rein, sondern wahrscheinlich hatte Agent nur bestimmte Algorithmen und eine eigene Library, nur eine Auswahl von Algorithmen, die dann

00:18:16: datamics im Federated Learning eingesetzt werden können. Oder kann man wirklich einfach sagen, ich nehme ein beliebigen.

00:18:22: Michael Also man kann an und für sich schon, also es hängt immer noch her vom Framework ab im Prinzip. An und für sich kann man schon jeden bediebigen Algorithmus nehmen. An und für sich funktioniert da auch so ziemlich alles im Deep Learning-Unfeld, wo man sich aber fragen muss, wie sinnvoll ist das. Das ist also ein Thema, was mit Federated Learning gerade sehr viel zusammengebracht wird. Was ich aber sehr kritisch sehe, ist eben einfach LLMs.

00:18:50: Michael Wenn ich mich in dem Bereich bewege und über Large-Language-Modus nachdenke, da ist Federated Learning nicht die richtige Lösung, weil ich dann einfach wahnsinnig große Modelle habe, die ich hin und her schicke, wo ich dann eben genau diesen Vorteil von ich shake weniger Daten durch die Gegend einfach komplett verliere.

00:19:08: Michael Wenn wir aber alles im Bereich von Predictions im Prinzip machen, sei es Regressionsmodelle oder Klassifizierungsmodelle, da bin ich eigentlich nicht eingeschränkt und ich kann eben da auch tatsächlich ziemlich agnostisch, sei es Scikit, TensorFlow, PyTorch verwenden. Ich muss teilweise schauen, wenn ich sage, okay, ich habe schon meinen Stack,

00:19:35: Michael und ich arbeite jetzt vielleicht ganz gerne mit Cykit, muss ja mal gucken, welches Framework unterstützt es denn. Aber es gibt auf jeden Fall Open Source Frameworks draußen, die im Prinzip auch mit Cykit arbeiten können. Es gibt ein paar, die auch komplett agnostisch sind, somit habe ich da gar nicht so die großen Einschränkungen. Wenn ich eben

00:19:57: Michael aus dem anderen Bereich komme, wo ich eben nicht Deep Learning mache, da muss ich mich dann eher fragen, kann ich das, macht das Sinn, wird das unterstützt und da gibt es eben eher so die Schwierigkeiten. Mhm. Mhm.

00:20:11: datamics Wie läuft das ab? Also, wie ich es verstanden habe, man kann die Decision Tree oder die Lineare Regression, bleiben wir mit einem einfachen Beispiel, wird Scikit-Learn-Library, wird im Agent installiert und wird dann lokal trainiert auf dem Handy-Device zum Beispiel. Und dann werden die Ergebnisse zurückgeschickt oder das Modell an den zentralen Server sozusagen. Und dann muss ja von zwei Handy-Devices ganz aggregiert werden. Und das macht dann der Agent. Der hat dann wahrscheinlich einen eigenen Rapper.

00:20:32: Michael Ja. Genau. Die Agents übertragen im Prinzip das Modell, also die Parameter von dem Modell und wenn man es genauer betrachtet ist es an und für sich eben auch einfach das Delta

00:20:55: Michael Also ich übertrage jetzt nicht mal das gesamte Modell, ich übertrage das, was eben auch wirklich dann sich verändert hat. Und das ist eben genau die Schwierigkeit, dass ich, wenn ich im Bereich des Decision Trees bin, habe ich immer eine Momentaufnahme. Das heißt, ich übertrage da tatsächlich jedes Mal die komplette Decision Tree, weil ich nicht eben fortlaufend trainieren kann, wie eben im neuronalen Netz.

00:20:58: datamics Danke.

00:21:17: Michael Was ich da mache, ist, dass ich dann in der Cloud das Ganze zusammenfüge. Das ist im Prinzip der Federated Learning Server. Da bieten die unterschiedlichen

00:21:29: Michael frameworks bieten dafür entsprechend Server, es gibt einige Plattformen in dem Bereich, wie unsere, die sowas anbieten, die fügen das zusammen. Und das nennt man Strategien. Das sind sogenannte eben federated learning Strategien, die im Prinzip die Modelle kombinieren. Und da kann ich unterschiedliche Dinge machen. Das kann im einfachsten Fall ein sogenanntes federated averaging sein, was auch in sehr, sehr vielen Bereichen extrem gut funktioniert.

00:21:57: Michael kann aber eben auch eine speziellere Strategie sein, insbesondere dann, wenn ich eben in anderen Modellarten vielleicht auch verwende. Dann muss ich überlegen, hier passt die Strategie gerade hier zu. Im Deep Learning Umfeld wird, wie gesagt, eben vor allem Federal Averaging verwendet. Wir haben zum Beispiel noch so eine Art Clustering eben bei uns drin, wo wir im Prinzip die Veränderungen der Modelle über die Zeit betrachten, um einfach zu schauen, welche

00:22:27: Michael passen eben auch von ihren Optima nachher wirklich dann zusammen, weil wenn ich nachher irgendwie beide komplett auseinanderliegen habe und dann den Durchschnitt bilde, dann habe ich vielleicht auch nichts gewonnen. Da in die Richtung gibt es eben Strategien, also da gibt es ein paar unterschiedliche und diese Strategieauswahl, die muss natürlich zum Algorithmus passen.

00:22:47: Michael Genau, das, aber für gewöhnlich die allermeisten Cases, die man so findet, nutzen eigentlich das Federate Averaging und das funktioniert auch an und für sich extrem gut. Das ist tatsächlich aber auch genau der Bereich, den ich eigentlich eingeschrieben habe, wo eben sehr viel Research stattfindet. Also das ist genau der Bereich, wo es sehr viele Thesisationen zugibt, die sich damit auseinander sind, wie kann ich eben in dem Bereich noch Optimierungspotenzial rausholen, weil

00:23:17: Michael Es gibt eben noch andere Möglichkeiten, ein noch besseres Modell zu trainieren, als der einfachen Logik zu folgen, wenn ich den Durchschnitt der Masse bilde, bin ich besser.

00:23:28: Michael Natürlich validiert nachher der jeweilige Agent für sich dann auch nochmal, je nach Implementierung eben, ist das jetzt eine Verbesserung für mich. Das ist zum Beispiel das, was wir machen, das ist eine Art Blue-Green-Deployment. Von den Modellen zu verifizieren, bringt dieses Modell, diese Modell-Iteration ist überhaupt etwas für mich. Oder passt da auf meinem Testdatensatz, stelle ich fest, aufgrund des Maschinen-Setups, was ich vielleicht jetzt hier gerade für meinen Prozess fahre, stelle ich fest, hey,

00:23:58: Michael Ich kann damit viel schlechter die Qualität vorhersagen, vielleicht nutze ich eher das vorherige. Das hängt aber dann sehr davon ab, wie der Agent implementiert ist und wie ich entsprechend in dem Bereich dann nachher dann aufgestellt bin. Das ist sicher etwas, wo man auch dann ein Stück weit schauen muss, passt das Framework zu meinem Anwendungsfall. Genau.

00:24:17: datamics Das ist dann die Aufgabe des Data Scientist, dass man dann das ganze Feintuning macht. Die Data Scientisten werden auch nicht arbeitslos, wie alle sagen. Das ist alles automatisiert mit einer Grid Search. Nein, es kommt dann hier wieder ein neuer Bereich dazu. Neue Themen, neue Forschung mit dem Federated Averaging zum Beispiel oder Algorithmen, Auswahl, Tuning, also das Kernaufgaben von Data Scientist.

00:24:40: Michael Ist tatsächlich auch ein spannender Bereich. Können wir auch gleich mal drauf eingehen. Dieses Automatisierungsthema beschäftigt uns nämlich tatsächlich auch sehr, sehr stark, als tatsächlich eher aus der Privacy-Perspektive. Aber ich denke, vielleicht mein Inando hat das gerade auch noch ein paar andere Punkte auf deiner Liste.

00:24:56: datamics Ja, können wir gerne, wenn wir gerade dabei sind, springen wir gleich rein. Ich hatte noch einen anderen Punkt, ich hab's noch notiert. Können wir dann gleich nochmal zurückspringen.

00:25:01: Michael Genau, also wo wir von Automatisierung sprechen, also viele von den Zuhörern werden sicher schon von AutoML gehört haben, wo es eben vom Kern her einfach auch darum geht, Domainexperten zu enablen oder eben Data Scientist eben auch so ein bisschen die Arbeit einfach zu erleichtern, um schneller bessere Modellarchitekturen zu finden, vereinfacht gesagt.

00:25:23: Michael Wir haben diesen Ansatz genommen und das Ganze ein bisschen weiter gedacht, eben auf und nennen das Auto Federated Machine Learning, also AutoFL. Und das spannende dabei ist im Prinzip, wie man eben auch darüber nachdenken kann, ist, dass man sagt, hey, wenn ich eben auf solchen Daten Modellteile turniere oder gesamte Modelle,

00:25:48: Michael komplett automatisiert, dann brauch ich die Daten ja gar nicht mehr sehen. Heißt, ich kann das im Prinzip für einen Privacy-Mechanismus sehen. Und das ist genau so ein bisschen bei uns die Herausforderung gewesen, dass wir tatsächlich für einen Kunden Modell entwickeln sollten und der wollte uns die Daten nicht zeigen. Ja, ihr macht doch, ist doch hier Privatsphäre und ihr schützt doch die Daten, wieso soll ich denn euch meine Daten mal offenlegen? Und was wir jetzt entsprechend da machen, vor allem auch ganz viel in solchen

00:26:16: Michael verteilten Szenarien, wo eben jeder im Prinzip einen Teil des Modells hat, wenn ich so an Prozesse denke, wo jeder einen Prozessschritt hat, die da eben einen Datenbestand und somit auch nachher eben ein Teil, der nachher ein Gesamtmodell bildet. Der eine vielleicht produziert das Material, der nächste verarbeitet das Material, also ganz simpel gesagt.

00:26:35: Michael Keiner möchte irgendwie Informationen hergeben, weil beides ist top secret, wie das jeweils passiert. Dann kann ich gar kein Modell trainieren. Was man eben auch machen kann, diesem Federated Learning Context, ist, dass man eben dahingeht, sagt, hey, ich nutze zum Prinzip AutoML und trainiere auf diesen Daten ein Layer, um überhaupt das erste Modell zu haben, ohne diese Daten jemals gesehen zu haben.

00:26:55: Michael um das dann als Basis nachher eine Modell komplett blind weiterzuentwickeln. Das funktioniert tatsächlich erstaunlich gut und ist im Prinzip nochmal eine andere Blickwinkel auf das ganze AutoML Thema, aber führt natürlich auch nicht dazu, dass die Data Science jetzt arbeitslos werden. Es führt eher dazu, dass man eben einen Prozessschritt automatisiert, den man sonst eben gar nicht lösen könnte, weil er eben aus Privacy-Gründen eben sonst nicht hätte stattfinden können.

00:27:21: datamics Das ist eine sehr schöne Erklärung noch mal. Dann springen wir jetzt aber weiter noch mal zurück zu dem Punkt, wo wir abgebogen sind. Einmal war das jetzt die ideale Welt mit dem Installieren von den Algorithmen. Ich glaube, die Krux liegt hier wie gesagt im federated learning. Vielleicht ein bisschen Richtung Auto. Jetzt gehen wir dann in die echte Welt sozusagen. Ich glaube auch bei Automobilfirmen ist es wahrscheinlich dann diese ideale Welt. iPhone ist die ideale Welt, weil die Betriebssysteme ja

00:27:31: Michael Mhm. Mhm. Mhm. Mhm.

00:27:49: datamics konfigurieren können, mehr oder weniger. Aber im Industrie 4.0 Umfeld, wie du schon gesagt hast, da gibt es dann verschiedene Maschinenhersteller, verschiedene Versionen, die haben vielleicht keine GPU. Datensätze sind unterschiedlich. Man kennt das, jeder, der wahrscheinlich mit denen gearbeitet hat. Das Standard wird zwar eingesetzt, aber ein Entwickler macht mal hier was, dann da, dann haben wir andere Datensätze. Was sind da die Herausforderungen dann, wenn man sagt mal, dieses heterogene System?

00:28:14: Michael Genau, also die Herausforderungen sind natürlich tatsächlich eben zunächst erstmal überhaupt mit den Daten überhaupt zu arbeiten. Also ich muss an für sich mit einer sehr unterschiedlichen Umgebung umgehen und habe eben teilweise die Daten dann vielleicht in einer SQL-Datenbank vorliegen,

00:28:30: Michael woanders habe ich sie vielleicht mit CSV gemessen, habe ich dann eben eine ganz unterschiedliche Art von Manifection Execution System. Das heißt, die Datenquellen sind erstmal extrem divers. Also ich muss erstmal überhaupt umgehen können, dass mir die Daten aus ganz vielen unterschiedlichen Quellen bereitgestellt werden, das auf unterschiedliche Arten weisen. Dann

00:28:51: Michael Wenn ich jetzt die Datenquellen angebunden habe, weil ich ganz viele Konnektoren vielleicht geschrieben habe oder bereits mitbringe, habe ich da unterschiedliche Daten drin. Das heißt, ich muss jetzt eben entscheiden, wie kann ich denn diese Daten so aufbereiten.

00:29:02: Michael eben auch nachher die Gemeinsamkeiten finden. Also was da extrem wichtig ist eben auf eine sehr, sehr gute Art und Weise eben wirklich ein Modell zu entwickeln, was generalisiert. Was wir inzwischen machen, wir stellen unseren Kunden einen Generalisierungslayer bereit, der eben genau das macht und im Prinzip eben Daten, die eben keine gemeinsame Basis haben, aber das gleiche Problem beschreiben, eben erstmal auf eine gemeinsame Foundation stellt.

00:29:27: Michael Sowas ist extrem wichtig, denn oftmals bewege ich mich einfach in unterschiedlichen Wertebereichen, weil ich vielleicht einen Teil produziere, was genau den gleichen Prozessschritt eigentlich innehat, aber vielleicht einen anderen Durchmesser hat.

00:29:41: Michael Ein ganz simples Beispiel ist die Herstellung von Rohren. Kunststoffrohren kennen wir alle. Die gibt es in unterschiedlichen Durchmessern. Die werden auf unterschiedlichen Gerätschaften gefertigt. Ich kann das gleiche Kunststoffrohr auf einen sogenannten Extruder. Da wird Kunststoff kontinuierlich in Form gepresst. Das läuft zwischen einer Spule durch.

00:30:06: Michael Und die gibt es in klein und die gibt es in ganz groß. Also ein Kunde von uns hat, das ist im Prinzip die gleiche Baureihe, unterschiedliche Dimensionen von, ich glaube, zwei Zentimeter bis zu irgendwie 50 Zentimeter gleiche Baureihe. Heißt grundsätzlich muss es da eigentlich Gemeinsamkeiten geben in diesem Prozess. Und vor allem ist da noch die Sache,

00:30:32: Michael Wie verändert sich das denn, wenn ich einmal ein anderes Material habe? Heißt, im Prinzip ist genau die Herausforderung auch zu schauen, wie finde ich denn überhaupt diese Gemeinsamkeiten zwischen den unterschiedlichen Prozessen, wenn ich die Daten gar nicht so direkt sehe?

00:30:48: Michael und bereite dann die Daten vom Modell auf. Also ganz, ganz viele, wie geht das überhaupt und wie starte ich das? Was wir im Prinzip deswegen machen, ist, dass wir eben die Datenaufbereitung im Prinzip immer mit dem Modell ausliefern. Also wir sprechen da von federated data pipelines.

00:31:07: Michael Und damit ermöglichen wir im Prinzip, die Daten für die jeweiligen unterschiedlichen Datenqueren komplett custom aufzubereiten. Und das ist im Prinzip ein Schritt, den der Domain-Experte im Prinzip machen kann, auf Basis von so einer Art Schemata, was er bekommt, um dann zu sagen, wie map ich das denn?

00:31:31: Michael Das ist im Prinzip genau dieser Data Preparation Teil, der eben oftmals so diese 80% in einem Data Science Projekt aufnimmt. Den haben wir in diesem Teil eben komplett dezentral. Und weil wir ihn dezentral haben, müssen wir irgendwie ihn vereinfachen. Das heißt, wir geben eben den Extrems für Toolingbereiten. Das ist genau der Punkt,

00:31:48: Michael der Kernpunkt, weshalb eigentlich Federal Learning Industrie noch nicht so stark adaptiert ist, weil viele eben genau auch sehen, hey, ich habe jetzt Research gemacht, wie kriege ich das ins Feld? Und das ist eben genau einer der Kernaspekte zu sagen, ich kann eine Pipeline eben aufbauen, also wir notieren uns dann im Prinzip am

00:32:07: Michael Am ONIX-Standard könnten Sie sagen, wir haben im Prinzip die aus Privacy-Perspektive sicheren Operationen aus Pandas nach ONIX exportiert und ermöglichen damit im Prinzip federiert Pipelines zu entwickeln. Also kann man sich das ein bisschen vorstellen, wenn man die unterschiedlichen Tools kennt, was der eine oder andere sicherlich tut, eben genau mit der Idee,

00:32:28: Michael die Nutration möglichst vertraut zu halten. Und möglichst auf eine Art und Weise zu machen, dass eben auch ich wenig Expertise brauche, um zu sagen, wie komme ich denn von A nach B. Das ist genau so ein bisschen der Punkt. Wir arbeiten auch sehr, sehr viel mit Meta-Informationen und Pipeline-Generierung. Also quasi die Learnings von den Vorherigen, aber das ist genau der Schritt, dass ich erst mal schauen muss, wie komme ich von unterschiedlichen Input-Daten zu den gleichen Input-Features.

00:32:58: Michael Die Teilweise habe ich vielleicht den Datenpunkt direkt vorliegend. Beim anderen muss ich vielleicht eine Konvertierung machen von im Imperial System ins Metrische. Beim nächsten muss ich vielleicht eine Varietentransformation machen und beim nächsten ist es dann noch komplizierter, was ich machen muss. Aber ich möchte eben zum gleichen Info kommen. Das ist genau der spannende Teil, wo

00:33:20: Michael Wir haben im Open Source Umfeld leider noch nicht so dieses Tooling finden und genau das ist auch der Punkt, weshalb wir uns eben auch genau auf diesen Bereich eben konzentrieren. Denn wenn ich diese gleichen Daten habe, ist genau der andere Punkt eben, dass ich einfach das Ziel habe nachher möglichst ein Modell zu haben. Weil das ist auch ein ganz entscheidender Punkt eben in der Industrie, wenn ich von Heterogenität spreche.

00:33:38: Michael Ich möchte nicht für, wenn ich 20 unterschiedliche Prozesse, 20 unterschiedliche, leichte Variationen eines Prozesses oder einer Maschine habe, nachher 20 Modelle haben, weil das einfach ein Kostentreiber ist. Das kann ich eben, aber im Research kann ich das machen, wenn ich es nicht betreibe, wenn ich es nicht production ready habe, wenn ich sowas betreibe, wenn ich sowas skaliere.

00:33:57: Michael habe ich eben Entwicklungs-, Integrations- und Operation-Costs, die durch die Decke gehen und nachher dazu führen, dass ich überhaupt keinen, ja, keinen positiven ROI nachher habe. Also ich kann das nachher nicht mehr kosteffizient betreiben und genau, das sind so die entscheidenden Aspekte da.

00:34:19: datamics Also zusammengefasst kann man eigentlich sagen, wahrscheinlich zwei Punkte. Zum einen hast du angesprochen gehabt mit GPU, unterschiedliche Hardware, Software. Oder zieh dir eine Standardlayer rein. Das kann man sich ein bisschen vorstellen, wahrscheinlich wie ein Docker-Container. Man hat hier die App, packt die Sachen rein und das wird dann deployed.

00:34:32: Michael Genau.

00:34:35: datamics Da sehe ich jetzt eine Herausforderung, man muss halt GPU installieren, ist jetzt nicht so einfach, aber hört sich jetzt doch einfacher an als der zweite Teil. Der zweite Teil, wie du gesagt hast, ist dann die Federal Ready Data Pipeline und das Data Mapping. Und ich glaube auch, wenn man da jetzt wirklich tausende von Devices hat, ist das wahrscheinlich schon die größte Herausforderung.

00:34:53: datamics Wenn man das ganze mapt, manuelle Arbeit, vielleicht gibt es auch zukünftige Automatisierung, Machine Learning Algorithmen, um das zu unterstützen, ich glaube das ist dann die Riesenherausforderung in dem Bereich.

00:35:06: Michael Absolut, genau. Genauso, wenn ein Interesse besteht, kann man das auch gerne mal bei unserer Plattform ausprobieren, das Ganze. Wir haben da so eine kostenlose Evaluation-Lösung, aber was für ein Prinzip auch genau

00:35:22: Michael machen, wo wir hingehen, das ist im Prinzip genau der Punkt, den du angesprochen hast. Also es geht bei uns gerade auch mehr und mehr in die Richtung eben Automatisierung eben einzuführen, eben auch tatsächlich eben eher Vorschlagsgenerierung eben, wie so eine Pipeline aussehen kann, eben auf Basis von einem eigenen Modell, was wir turnieren. Einfach vor dem Hintergrund, dass man eben

00:35:44: Michael in den Fabriken unterschiedliche Kompetenzen haben. Das ist genau so eigentlich der Punkt. Ich kann so eine Lösung in der Industrie eben nur dann skalieren, wenn ich eben auch das Anforderungsprofil so halte, dass ich die jeweiligen Skills jetzt in den Fabriken vorfinde. Und ich kann jetzt nicht erwarten, dass jeder meiner

00:36:02: Michael Anwender, der eine Maschine vielleicht von mir kauft und Maschinen von mir einsetzt, ein eigenes Data Science Team vorhält, damit er meine Lösung einführen kann. Das wird nicht funktionieren. Das heißt, ich muss gucken, dass ich genau da eben solches Tooling eben an die Hand gebe, um eben auch Domain Experten oder eben unerfahrene Teams zu enablen, weil das eben ganz entscheidend ist für die Integration von solchen Lösungen.

00:36:27: datamics Ja, sehr schön. Wir sind jetzt schon ziemlich weit mit der Zeit. Kommen wir jetzt zum Ende vielleicht nochmal. Darfst du die Use Cases eurer Kunden sagen? Allgemein, für welche Firmen das macht? Du hast vorher schon gesagt, das sind relativ große Kunden. Das sind schon bestimmt wichtige Projekte.

00:36:38: Michael Mhm.

00:36:41: Michael Genau, ja, ich kann gerne ein paar Beispiele geben. Also einer unserer größten Kunden ist beispielsweise die Siemens. Siemens ist sicherlich mit einem oder anderen eben auch bekannt als Unternehmen für Industriesteuerung. Und wir sagen im Prinzip für die mit unserer Lösung weltweit die Qualität von deren Leiterplatten her, von den PCBs. Also da ist ein bisschen die Herausforderung, diese Leiterbahnen werden da drauf gedruckt. Und ich weiß, dass ich am Ende des Prozesses erst wirklich sicher, ob die wirklich gut sind.

00:37:11: Michael und wir nutzen im Prinzip die Daten am Ende des Prozesses und am Anfang, um ein Modell zu trainieren über mehrere Standorte und weg, was es ermöglicht, am Anfang des Prozesses die Qualität mit einer extrem hohen Genauigkeit herzusagen.

00:37:29: Michael Das Ganze wird an mehreren Standorten eingesetzt, auch gerade im Rollout nach China, eben genau vor der Motivation her, dass Siemenstone genau in einer Situation ist, dass diese Daten eben von den unterschiedlichen Standorten nicht einfach zusammengeführt werden können. Bei Siemenstone kannst du eben auch andere Dinge machen, das fällt tatsächlich mit der Dual-Use.

00:37:47: Michael heißt, wir sind genau da in diesem Kontext und wir haben hier auch sehr, sehr viele Daten, die wir anfallen. Genau, das ist so ein Prinzip einer unserer größten Kunden, Stichwort Predictive Quality Control. Es gibt noch ein paar andere. Abuk beispielsweise, Spritzgussmaschinenhersteller oder die BASF großer Chemiekonzern, mit denen wir zusammenarbeiten. Genau, das sind vor allem eher so

00:38:13: Michael sehr große Mittelständler oder Großkonzerne, die in dem Bereich unterwegs sind, wobei wir gerade dabei sind auch tatsächlich für bestimmte Anwendungsfälle mit Kunden im Prinzip

00:38:25: Michael so eine Art AI-Alliances aufzubauen, weil es im Prinzip in bestimmten Bereichen total Sinn macht, eben zu kollaborieren. Und das ist genau das andere Punkt. Federated Learning hat auch einen sehr großen kollaborativen Aspekt. Und wenn ich jetzt in einem Bereich ein sehr gutes Modell trainiert habe, was für mich kein... jetzt nicht mein USP ist und nicht dazu führt, dass wenn ich da Wissen überteile, eben meinen Wettbewerbsvorteil komplett verliere,

00:38:53: Michael kann es eben Sinn machen, zu kollaborieren, wie zum Beispiel dieses Drucken von Leiterbahnen, so ein wichtiger Prozessschritt mit einer hohen Federquote und das sind so Bereiche, wo wir jetzt auch gerade dabei sind, eben für so Alliances aufzubauen mit Unternehmen, die quasi im Prozess eben auf deutlich kleinerer Ebene fahren, aber eben nicht selber eben so ein Modell trainieren würden, um denen im Prinzip auch die Integration dazu ermöglichen.

00:39:18: Michael Und genauso für sich sind es eben oftmals Unternehmen, die entweder unsere Lösung nutzen, um internes Einzusetzen auf globaler Ebene oder eben um eben einen Service deren Kunden anzubieten, wie zum Beispiel eine ABOC das macht im Spritzgussbereich.

00:39:36: Michael Da werden Daten sehr ungern geteilt. Es spricht oftmals auch so ein bisschen von Alchemie, wie dann dieser Prozess ausgeführt wird, dass nachher die PT-Flasche auch genauso aussieht, wie sie aussieht. Da steckt extrem viel Wissen, so soll man gar nicht meinen. Und genau dieses Wissen wollen eben die Unternehmen, die diese Maschine einsetzen, einfach schützen.

00:39:55: Michael Und das ist eben genau etwas, was man eben auch sehr schön durch solche Lösungen abdenken kann, wo man dann die Privathät der Daten eben einfach sicherstellt, indem sie dann wirklich auch lokal bleiben bei der anderen Eigentümer.

00:40:06: datamics Sehr schön. Wir kommen jetzt auch zum Ende. Wir sind schon weit über der Zeit. Ich denke, wir haben sehr viele Insights bekommen, warum sollte Federated Learning eingesetzt werden, was sind die Vorteile, wie wird es ausgerollt, was sind die Anforderungen bei Industrie 4.0 und und und Rechte, viele Insights, Use Cases und so weiter. Also vielen Dank, Michael, für die wertvollen Infos über Federated Learning.

00:40:36: Michael Sehr gerne. Hat Spaß gemacht.

00:40:40: datamics Copyright WDR 2021