Roboter in menschenzentrierten Umgebungen sehen sich mit offenen Anweisungen, wechselnden Aufgabenprioritäten und unvorhersehbaren Einschränkungen konfrontiert. Ein sprachgesteuerter Ansatz verspricht intuitive Interaktion, prioritätsbewusste Planung und widerstandsfähige Anpassung, wodurch Roboter in komplexen Umgebungen nützliche Unterstützung leisten können. OFFIS entwickelt derzeit eine KI-gestützte Lösung, die es einem simulierten mobilen Roboter ermöglicht, gesprochene Befehle zu interpretieren, Aufgaben autonom zu priorisieren, Routen effizient zu planen sowie Pakete anhand visueller Informationen über ein multimodales LLM genau zu identifizieren und Räumen zuzuordnen, wodurch sich das System dynamisch an vom Nutzer definierte, sich ändernde Einschränkungen anpassen kann.

Wir nutzen OptimAIse-Tools und das OptimAIse-Framework, um eine KI-gestützte Funktion zu implementieren, die 
Anfragen in fundierte, prioritätsorientierte Aktionspläne umsetzt, diese sicher ausführt und ihre Entscheidungen erläutert. Zu diesem Zweck wird eine Reihe von Komponenten bzw. verwertbaren Ergebnissen eingesetzt und validiert, insbesondere: intelligente Orchestrierung, Bewertungsframework für die Orchestrierung, Modellkomprimierung und Erklärbarkeit.

Der Einsatz des OptimAIse-Frameworks soll die Modellentwicklung direkt verbessern, indem es durch fortschrittliche Komprimierung und intelligente Workload-Orchestrierung die Trainings- und Feinabstimmungszeiten verkürzt sowie die Infrastrukturkosten senkt, während gleichzeitig die Sicherheit durch validierte, richtlinienkonforme Maßnahmen gewährleistet und das Vertrauen durch Transparenz- und Rechenschaftsmechanismen gestärkt wird. Seine skalierbare Simulations- und Bereitstellungsinfrastruktur stellt sicher, dass in kontrollierten Umgebungen verfeinerte Fähigkeiten nahtlos auf reale Kontexte übertragen werden können. Durch die Vereinigung von Datenhoheit, Recheneffizienz, Orchestrierungsintelligenz und erklärbarer Entscheidungsfindung verbessert das Framework nicht nur Leistung, Sicherheit und Benutzerfreundlichkeit, sondern reduziert auch die Umweltbelastung und schafft so eine wiederverwendbare Grundlage für intelligente, prioritätsbewusste Roboterunterstützung in dynamischen, menschenzentrierten Szenarien.
 

Wir verbinden ein LLM mit strukturiertem Weltwissen und Simulationen und behandeln Benutzereingaben, Szenariokontext und Aufgabenbeschränkungen als gleichwertige Signale für die Entscheidungsfindung. Die Orchestrierungstools von OptimAIse tragen dazu bei, die Verteilung der Arbeitslasten auf die Systeme zu optimieren und gewährleisten so einen robusten, energieeffizienten Betrieb, auch wenn sich Prioritäten verschieben und der Rechenbedarf variiert.

Das Modell entwickelt eine globale Strategie – z. B. die Bearbeitung der Aufgaben mit der höchsten Priorität zuerst und die Anordnung der verbleibenden Aufgaben nach Nähe oder Aufwand – und gleicht diesen Plan kontinuierlich mit den aktuellen Bedingungen ab. Das Weltwissen wird durch extern gepflegte Szenen- und Kartendarstellungen bereitgestellt, wodurch das System Absichten in einer gemeinsamen, aktuellen Darstellung der Umgebung verankern kann. Eine geschützte Validierungsschicht gewährleistet Sicherheit und Plausibilität vor der Ausführung, während ein einheitlicher Regelkreis Aktionen ausführt, den Fortschritt überwacht und eine Neuplanung auslöst, wenn sich die Umstände oder die Ziele des Benutzers ändern. 

Da Teile der KI-Workloads für die lokale Ausführung auf einem mobilen Robotersystem vorgesehen sind, sollte der Einsatz der Komprimierungstools von OptimAIse die Größe dieser Modelle drastisch reduzieren und so einen effizienten Einsatz auf Edge-Geräten in Robotern bei gleichbleibend hoher Leistung ermöglichen. Das System bewahrt durchgehend einen interpretierbaren Ablaufverlauf, wodurch sichergestellt wird, dass Ergebnisse und Fehler für die Bediener transparent und erklärbar sind. Die Simulation mit einem flexiblen Robotik-Stack unterstützt eine von der konkreten Ausgestaltung unabhängige Prüfung über verschiedene Roboterformen und Sensorkonfigurationen hinweg und beschleunigt so den Iterationsprozess, ohne sich auf eine einzige Hardwareplattform festlegen zu müssen.