Fraunhofer IAO - Kontrollraum für die KI

[Juergen Maier]

Wie lassen sich Anwendungen der Künstlichen Intelligenz im Berufsalltag überwachen? Und was braucht es, um im Zweifel korrigierend eingreifen zu können? Solche Fragen ergründen Forschende des IAT der Universität Stuttgart im Projekt »KI-Cockpit« – in drei spannenden Anwendungsfeldern.

Im Neurolabor des Fraunhofer IAO muss es heute schnell gehen: Gemüse wird geschnitten, Salatteller werden angerichtet, Burger gebraten. Die Finger macht sich dennoch niemand schmutzig, denn die Küche, in der hier geschuftet wird, existiert nur in der digitalen Welt. Sie ist die virtuelle Bühne eines Computerspiels, bei dem es darum geht, viele Aufgaben parallel zu bewältigen – per Tastendruck auf dem Controller.

Dass es sich nicht um ein normales Computerspiel handelt, verraten die zahlreichen Geräte, an die die Spielerin – oder besser: die Probandin – an diesem Nachmittag angeschlossen ist. Ein Gerät misst ihre Hirnströme, ein anderes ihren Puls, ein weiteres ihre Augenbewegungen. »Die Daten sollen uns zeigen, wie Gehirn und Körper arbeiten, während sie Aufgaben lösen, und wie ausgelastet unser Gehirn bei verschiedenen Arbeitsintensitäten ist«, sagt Dr. Nektaria Tagalidou. Die Psychologin leitet das Projekt »KI-Cockpit« am Institut für Arbeitswissenschaft und Technologiemanagement IAT der Universität Stuttgart gemeinsam mit dem Medieninformatiker Michael Bui. Zusammen wollen sie die Frage beantworten, wie der Mensch KI-Anwendungen in der betrieblichen Praxis kontrollieren und die Kontrolle über mehrere Prozesse behalten kann.
Eine Frage der Belastung

Die Versuche mit der virtuellen Fast-Food-Küche im Team »Applied Neurocognitive Systems« des IAT und des Fraunhofer IAO sind allerdings nur ein erster Schritt in Richtung einer Antwort. Die Erkenntnisse aus den physiologischen Daten sollen auch bei den Projektpartnern des »KI-Cockpits« Anwendung finden. Im Kern geht es dabei um die Frage, unter welchen Bedingungen Menschen am besten in der Lage sind, KI-Entscheidungen zu kontrollieren. Wie schnell sie eingreifen, wenn Algorithmen zu falschen Entscheidungen führen und es im Extremfall um die Sicherheit von Menschen geht.

»Wenn Menschen überfordert sind oder im Gegenteil dazu unterfordert, könnten sie eine potenziell gefährliche Situation entweder gar nicht wahrnehmen oder gedanklich abschweifen. Vor allem in sicherheitsrelevanten Branchen geht es darum, für die KI-Operatoren das richtige KI-Cockpit zu gestalten und damit einhergehend auch ihre kognitive Belastung zu berücksichtigen«, sagt Tagalidou.


Die Angst, die Kontrolle zu verlieren

Seit Algorithmen im Arbeitsalltag und im Privaten mehr und mehr Entscheidungen treffen, wird die Diskussion um die Kontrolle der Künstlichen Intelligenz lauter. Die Technologie schafft viele Möglichkeiten, schürt aber auch die Angst, die Kontrolle zu verlieren. Im Mai 2024 verabschiedete die Europäische Union das weltweit erste Regelwerk für Künstliche Intelligenz. Darin ist unter anderem festgelegt, dass KI-Systeme mit hohem Risiko – zum Beispiel bei kritischer Infrastruktur oder medizinischen Diagnosen – unter menschlicher Aufsicht arbeiten müssen. Außerdem sollen die Systeme für Anwenderinnen und Anwender transparent arbeiten. Genau darum geht es beim Projekt »KI-Cockpit«, das vom Bundesministerium für Arbeit und Soziales (BMAS) gefördert wird.

Oft ist bei menschlicher Kontrolle von einem imaginären »roten Knopf« die Rede, mit dem Menschen die Künstliche Intelligenz stoppen können. »Um diesen geht es auch bei uns, besonders bei zeitkritischen Entscheidungen«, sagt Bui. »Aber zusätzlich zum roten Knopf versuchen wir, noch weitere Kontrollsysteme zu entwickeln.« Diese seien wichtig, um herauszufinden, wie das autonome Arbeiten der KI kontrolliert und unter welchen Bedingungen es eingeschränkt werden kann.
Breite Anwendung

Gemeinsam mit der Hochschule Aalen und drei Projektpartnern entwickelt das Projektteam jeweils ein KI-Cockpit. »Unterschiedlicher könnten die drei Partner nicht sein, aber für alle ist das Cockpit hochrelevant«, sagt Tagalidou.

Das Unternehmen Chemistree bringt mit einer Plattform Arbeitssuchende und Arbeitgeber zusammen. In diesem Bereich kann auch eine KI zu Verzerrungen und Diskriminierungen führen. »Wenn die Menschen im Unternehmen über das Cockpit auf diskriminierende Prozesse hingewiesen werden, können sie die erforderlichen Maßnahmen ergreifen«, sagt Bui.
Eingreifen, wenn ein Fehler passiert

Bei Starwit Technologies geht es darum, eine KI-gestützte Verkehrsleitplanung für Kommunen zu entwickeln. Die Künstliche Intelligenz kann zum Beispiel Gefahrensituationen wie Gegenstände auf der Fahrbahn erkennen oder durch geschickte Verkehrslenkung dazu beitragen, Staus zu vermeiden. Im KI-Cockpit soll ein Mensch die Entscheidungen der KI nachvollziehen und kontrollieren können. »Nur dann kann er schnell manuell steuernd eingreifen, wenn ein Fehler passiert«, sagt Tagalidou.

Die Caritas Dortmund sucht nach Möglichkeiten in der Pflege, KI-Systeme einzusetzen, um die Beschäftigten bei der täglichen Arbeit zu unterstützen. Denkbar wären zum Beispiel Systeme, welche die aufgenommene Flüssigkeitsmenge der Bewohnerinnen und Bewohner eines Altenheimes registrieren, oder Algorithmen, welche die Essensbestellungen der Kundinnen und Kunden an deren individuelle Wünsche anpassen. »Auch hier ist Kontrolle besonders wichtig, weil bei Fehlern Menschen zu Schaden kommen können«, sagt Bui.

Ein KI-Cockpit sei vergleichbar mit einem Cockpit im Flugzeug. Auch dort liefen viele Prozesse automatisch ab. »Aber es braucht immer einen Piloten, der im Zweifelsfall eingreift«, sagt Tagalidou. Denn eine Kurskorrektur soll am Ende nur der Mensch vornehmen.

Weitere Informationen:
https://www.iao.fraunhofer.de/de/forschung/beitrag_05-kontrollraum-fuer-die-ki.html#1