Reinforcement Learning: Wie eine KI-Methode komplexe Steuerungen optimieren soll

Anbieter zum Thema

Schneider Digital Josef J. Schneider e.K.

Chaos Software GmbH

Thinkproject Deutschland GmbH

Reinforcement Learning kann dabei helfen, Steuerungsprobleme bei der Montage von Produkten und beim Antrieb von Kraftfahrzeugen zu lösen.

• Als erstmals ein Computer einen Menschen im Brettspiel Go besiegte, hatte er sich die optimale Spielstrategie durch Reinforcement Learning selbst beigebracht.

• Dieselbe Methode soll nun dazu dienen, komplexe Steuerungsprobleme bei der Montage von Produkten und beim Antrieb von Kraftfahrzeugen zu lösen.

• Im FFG-Projekt (Österreichische Forschungsförderungsgesellschaft) Reinforce untersuchen Forschende unter der Führung von Fraunhofer Austria, ob die Methode bei der Steuerung von fahrerlosen Transportsystemen (FTS) in einem Produktionsbetrieb oder im Antriebsstrang von PKW Vorteile bringt.

Beim maschinellen Lernen ist meist eine enorme Menge an Trainingsdaten Voraussetzung. Dabei lernt die künstliche Intelligenz (KI), indem sie zahllose vorgegebene Beispiele auswertet. Nicht so beim Reinforcement Learning. Denn hier werden stattdessen die Rahmenbedingungen definiert. Programmierende legen also fest, welche Aktionen möglich sind und was Erfolg ausmacht, wie zum Beispiel das Besiegen des Gegners oder das Entfernen gegnerischer Spielsteine vom Brett. Das Computerprogramm erhält dann nach jedem Versuch eine Belohnung, je nachdem, ob es die Kriterien eines Erfolges erfüllt hat oder eben nicht. 

Kreativität des Computers

„Reinforcement Learning als Spezialvariante des maschinellen Lernens ist dem menschlichen Lernen am ähnlichsten. Wie ein kleines Kind lernt der Algorithmus dabei durch Versuch und Irrtum“, erklärt die Leiterin des Projekts Catherine Laflamme. Da nicht nur vorgefertigte Beispiele ausgewertet werden, können komplett neue Lösungsansätze gefunden werden – auch solche, auf die ein Mensch nie gekommen wäre. 

„Es ist ein spielerisches Lernen, und es können sehr kreative Lösungen dabei herauskommen“, erläutert Daniel Bachlechner, Leiter der Gruppe Advanced Data Analytics bei Fraunhofer Austria. Bei Spielen mit zwei Spielern, wie es zum Beispiel bei Go der Fall ist, kann das System auch dadurch lernen, dass es gegen sich selbst antritt. Zusätzlich kann beim Lernen auch Vorwissen, beispielsweise in Form von historischen Spielverläufen, berücksichtigt werden. 

Reinforcement Learning: Transfer in die Industrie

Nun sollen die Potenziale von Reinforcement Learning in zwei komplexen, realitätsnahen und sehr verschiedenen Steuerungsproblemen auf Herz und Nieren getestet werden: einerseits bei der Priorisierung von Aufträgen und der Routenwahl von fahrerlosen Transportsystemen (FTS) in einer Produktionsumgebung und andererseits bei der Steuerung von Antriebssträngen in Kraftfahrzeugen. 

Projektpartner für den ersten Anwendungsfall ist die Firma Engel. Sie setzt in ihrer Fließmontage FTS ein, um Produkte von einem Montageplatz zum nächsten zu transportieren. Die Steuerung funktioniert derzeit über ein programmiertes Regelwerk, das das Zusammenspiel der verschiedenen Fahrzeuge vorgibt. Dieses kann durchaus komplex werden. Denn auch die Versorgung der Montageplätze mit Material erfolgt über die Fahrwege der FTS. Zwar funktioniert die Steuerung, doch sie lässt sich noch optimieren. Bei einer Änderung im Prozess ist die Anpassung mit der derzeit verwendeten Methode äußerst aufwändig. Im Projekt wird nun untersucht, welche Vor- und Nachteile das Verfahren bei der Steuerung von FTS mit sich bringt. 

„Wir wollen uns mit dem Thema Reinforcement Learning auseinandersetzen um das komplexe Zusammenspiel von Mensch und Maschine zu verstehen und zu optimieren“, betont Dominik Pfeiffer-Vogl, Montageleiter bei Engel Austria am Standort Schwertberg.

Kontinuierliches Steigern der Komplexität 

Projektpartner im zweiten Anwendungsfall ist die Firma Bosch. Die Fragestellung dreht sich um die Steuerung von Antriebssträngen in Kraftfahrzeugen. Abhängig von Art und Aufbau des Antriebsstrangs (zum Beispiel Verbrenner, Hybrid, E-Antrieb) verfügt der Antriebsstrang über eine Vielzahl an Hauptkomponenten und darin verbauten Aktoren und Sensoren. Diese Subsysteme stehen in einer engen Abhängigkeit zueinander, besitzen also eine hohe Interaktion. Mit zunehmender Komplexität der Subsysteme und wachsender Interaktion zwischen diesen steigt auch die Herausforderung einer möglichst optimalen Steuerung.

Für eine optimale Steuerung lassen sich noch viele weitere Dinge berücksichtigen. Bei einem Hybridfahrzeug können beispielweise Routenparameter wie die maximal erlaubte Geschwindigkeit, Straßensteigung, die Distanz zum Zielort sowie die Verfügbarkeit von Ladestationen das erreichbare Optimum signifikant beeinflussen. Sven Dominka, verantwortlich für Forschung und Innovation bei Bosch Engineering in Wien, sieht großes Potenzial. Allein durch eine verbesserte Steuerung des Antriebsstrangs ließe sich die Effizienz moderner Antriebsstränge weiter erhöhen.

Steuerungen verbessern, Entwicklungsaufwände reduzieren

„Reinforcement Learning ist die für mich spannendste Art des maschinellen Lernens. Die Entwicklung von Steuerungen für Antriebsstränge ist mit sehr hohen Aufwänden verbunden. Reinforcement Learning birgt das Potenzial, diese Steuerungen weiter zu verbessern und gleichzeitig Entwicklungsaufwände einzusparen. Reinforce soll uns dabei helfen besser zu verstehen, wie wir dieses Potenzial in der Praxis nutzen können“, sagt Sven Dominka.

„Wir wollen ermitteln, wo die Grenzen von Reinforcement Learning liegen, daher werden wir die Komplexität immer weiter steigern und dabei laufend prüfen, wie gut sich die Methode unter den gegebenen Bedingungen noch bewährt. Unser Forschungsfrage lautet vereinfacht ausgedrückt also: Wie groß ist das Potenzial der Technologie in der Praxis?“, erklärt Catherine Laflamme.

Weitere Informationen: https://www.fraunhofer.at/

Erfahren Sie hier mehr darüber, wie Roboter mit künstlicher Intelligenz Objektbeziehungen verstehen.

Lesen Sie auch: "Multiplayer-VR-Training ergänzt klassische Schulungen bei Toyota Material Handling"