Entwicklung eines Augmented-Reality-Trainingssystems

Die fortschreitende Automatisierung und der absehbare Fachkräftemangel erfordern eine bessere Organisation der Arbeitsprozesse in der Fertigung und in angrenzenden Bereichen. Vor diesem Hintergrund wird die optimierte Funktions- und Arbeitsteilung von Menschen und Robotern im Sinne der direkten Mensch-Roboter-Kooperation ein relevantes Thema werden. Diese ist allerdings aus Sicht der Sicherheitstechnik und des Arbeitsschutzes kritisch, da die bislang geforderte Separation zwischen dem Gefahrenbereich des Roboters und der Arbeitsperson bei einem Kooperationsansatz aufgegeben werden muss.

Je effektiver und früher der geplante Vorgang in Bezug auf die Einhaltung von Sicherheitsvorschriften überprüft werden kann, desto höher sind sowohl das Sicherheits- und Qualitätsniveau als auch die Kosten- und Zeitersparnis der realisierten Lösung. Heutige 3D-Simulationsumgebungen decken den Bereich der industriellen Robotik bereits umfassend ab: Von der Handhabung sperriger Schwerlastgüter über Schweißprozesse bis hin zu Lackierarbeiten können unterschiedlichste Szenarien modelliert und simuliert werden. Der Mensch wird dabei gegebenenfalls durch eines der am Markt verfügbaren digitalen Menschmodelle (Ramsis, Jack, AnyBody etc.) repräsentiert. Diese Menschmodelle sind aufgrund ihrer komplexen Handhabung und der hohen Anzahl an Freiheitsgraden für interaktive Anwendungen oft nicht geeignet, besonders wenn es um die sicherheitskritische Interaktion zwischen Mensch und Roboter geht. Der Einsatz eines Augmented Reality (kurz: AR) Systems, in dem der Anwender selbst unmittelbar die egozentrische Perspektive des Werkers einnimmt und den gesamten Prozess prüfen und gegebenenfalls korrigieren kann, ist hier naheliegender. Deshalb ist ein flexibles AR-System zur Simulation und Absicherung direkter Mensch-Roboter-Kooperationsprozesse im industriellen Umfeld konzipiert und entwickelt worden. Damit sollen Kooperationsprozesse umfassender als bisher möglich rechnergestützt geplant und sicherheitstechnisch überprüft werden. Durch die Kombination unterschiedlicher Ansätze und Technologien, von denen einige bislang als eher untypisch für den Einsatz in industriellen Anwendungen galten, werden möglichst viele Aspekte der Realität abgebildet, um die Immersion, also das „Eintauchen“ des Benutzers in die virtuelle Umgebung, maßgeblich zu steigern.

Nach VDI-Richtlinie 3633 [1] handelt es sich bei der Simulation um ein Verfahren zur Nachbildung eines Systems mit seinen dynamischen Prozessen in ein experiementierfähiges Modell, um damit zu Erkenntnissen zu gelangen, die auf die Wirklichkeit übertragbar sind. Handelt es sich um eine echtzeitfähige Simulation, so entspricht die Modellzeit der Realzeit. Dies ist eine Grundvoraussetzung bei den meisten Human-in-the-Loop (HiL) Simulationen, bei der ein Mensch mit einer synthetisch erzeugten Umgebung interagiert. Kennzeichnend für derartige Simulationen ist die hohe Spezialisierung der Hard- und Software. Für den Hardware-Teil ist man allgemein bestrebt, dem „Look and Feel“ des realen Vorbildes so nah wie möglich zu kommen bzw. die reale Umgebung wie z.B. ein Flugzeug-Cockpit unmittelbar in der Simulation zu verwenden. In diesem Idealfall spricht man auch von einer eingebetteten Simulation, bei der die Simulations-Software neben möglichst wenigen zusätzlichen Geräten zu einem integrierten Bestandteil des Gesamtsystems wird. Ist dies nicht möglich, empfiehlt es sich dennoch, den Anteil der originalen Ausstattung und damit das Nutzererlebnis (engl. „User Experience“) so realitätsnah wie möglich zu gestalten. AR stellt in diesem Sinn einen interessanten Ansatz dar, da in ihm die Realität nicht vollständig ersetzt, sondern lediglich um definierte, virtuelle Elemente ergänzt wird, die in der Realität zu teuer oder aus anderen Gründen nicht bereitgestellt werden können.

Als Anwendungsszenario wurde die robotisch gestützte CO2-Strahlreinigung massiver Gussteile gewählt. Darin arbeitet der Benutzer mit einer realen Strahlpistole in der Hand, die er durch ein in der Höhe fest montiertes Durchsicht-Head-Mounted Display (kurz: HMD) sehen kann. Mit dieser Pistole kann er jedoch virtuelle CO2-Pellets auf ein ebenso virtuelles Gussteil schießen, das von einem virtuellen Roboter gehandhabt wird (Bild 1). Das kamerabasierte Trackingsystem sorgt dabei für die perspektivisch korrekte Darstellung der virtuellen Szene und versetzt den Nutzer durch Verfolgung der Pistole innerhalb und außerhalb einer definierten Sicherheitszone in die Lage, die Bewegungen des Roboters zu beeinflussen.

Da es sich um eine interaktive Robotersimulation handelt, kommt dem Software-Engineering bei der Entwicklung und der Erweiterung des Systems eine integrale Bedeutung zu. Von der Planung über die Analyse, den Entwurf und die Implementierung bis hin zur Verifikation und Validierung wurde vor allem auf Flexibilität und Erweiterbarkeit geachtet. Ein nicht zu vernachlässigender Aspekt ist die prozessorientierte Sicht des Produktionsplaners. Da es sich um eine industriell verwertbare Simulation handeln soll, muss sich das System auch in eine durchgängige, digitale Planungsmethodik integrieren lassen können.

Grundlage bei der Entwicklung neuer Module aus der Prozessanalyse war ein durchgängig objektorientierter Ansatz. Wichtigstes Hilfsmittel hierzu war der formalisierte Entwurf in UML (Unified Modeling Language), wobei auch der Vorentwurf auf Papier zum Digital Engineering gerechnet werden kann, dem die Ausarbeitung in einem digitalen Planungstool folgte. Durch objektorientierter Entwurfsmuster [2] als bewährte Lösungs-Schablonen bei der Softwareentwicklung konnte dem System eine hohe Robustheit und Transparenz verliehen werden.

Die Simulation wurde als eigenständige Applikation neu entwickelt. Hierbei hat sich im Laufe der Entwicklung die Organisation ihrer Bestandteile in einem Szenegraphen als „Best Practice“ durchgesetzt, sodass dieses Konzept übernommen wurde. Die mediale, also graphische und auditive Darstellung der Szene inklusive Roboter wird aber grundsätzlich entkoppelt vom mathematischen Modell zur Berechnung der inversen Kinematik des Roboters betrachtet. Im Sinn eines Server-Client-Modells können mehrere graphische Clients von einem Server mit Zustandsinformation des Roboters per Netzwerk-Broadcasting versorgt werden. Die Definition und Bearbeitung der dazu notwendigen Anfahrpunkt-Sequenzen wird auf einer separaten Konsole durchgeführt, die den Prozess-Server bedient. Wenn sowohl die Roboter-Posen als auch ihre Anfahrzeiten a priori bekannt sind, kann ein graphischer Client auch losgelöst vom Server betrieben werden, da die einzelnen Gelenkstellungen in diesem Fall bekannt sind und Übergänge einfach interpoliert werden.

Geometrien und Rendering

Zentraler Bestandteil der Simulationsanwendung ist der virtuelle Roboter mit dem an ihm angebrachten Greifer. Seine Geometrie konnte direkt vom Hersteller als CAD-Datei bezogen werden; der Greifer, das Bauteil (ein Sechszylinder-Kurbelgehäuse) und die Strahlpistole wurden in CAD konstruiert. Von den Konstruktions-Rohdaten ausgehend wurde in zwei Tesselierungs-Datenformate konvertiert: erstens nach X3D (Nachfolgeformat des VRML-Formats) und zweitens nach JT (Jupiter Tesselation; industriell weit verbreitetes Format zum Austausch von 3D-Produktdaten). Beide Formate können von der Simulation verarbeitet werden, JT findet hier demonstrativ Unterstützung, da eine aktive PLM-Integration nur unter Berücksichtigung relevanter Datenformate vorangetrieben werden kann. Dies gilt neben den Betriebsmitteln wie dem Roboter und dem Greifer vor allem für die Produktdaten. Denn zur Steigerung der Akzeptanz neuartiger Planungs- und Simulationsmethoden bei Prozessplanern müssen Geometriedaten in aktueller, produktiver Revision ohne zusätzliche und aufwendige Konvertierungsschritte zur Verfügung stehen.

Das Rendering basiert auf OpenGL [3], einem industriellen Standard zur Entwicklung von 2D- und 3D-Applikationen und arbeitet somit nach dem Tiefenspeicher-Verfahren. Dabei wird pixelweise festgestellt, welche Elemente sichtbar sind und welche durch andere verdeckt werden. Zur Steigerung der Qualität des optischen Eindrucks können beim Tiefenspeicher-Verfahren für alle oder auch nur einige Objekte sogenannte Shader (dt.: Schattierer) zur effizienten Simulation von Oberflächeneigenschaften wie Glanz, Porosität oder feinen Einprägungen eingesetzt werden, einer Technologie, die bisher vor allem in Computerspielen vorkommt. Shader können direkt vom Grafikprozessor berechnet werden und entlasten dadurch die CPU (Central Processing Unit). Eine Modifikation der Geometriedaten selbst ist dabei nicht notwendig. In der Simulation wurden so Reflexionen der glatten Oberfläche des Roboters und die Rauheit des Gussteils simuliert.

Physik und Sound

In der Realität bewirkt die Erdanziehungskraft das Herabfallen losgelassener Objekte und ballistische Flugbahnen beschleunigter Körper. Da dieses Verhalten einen bedeutsamen Einfluss auf die Validität und Erwartungskonformität einer virtuellen Umgebung hat, wurde eine Bibliothek zur Echtzeit-Physiksimulation integriert. Eine derartige Bibliothek erlaubt die Definition einer physikalischen Welt parallel und unabhängig zur visuell programmierten Welt. Zu dieser physikalischen Welt können Objekte hinzugefügt werden, deren Definition neben der Geometrie auch physikalische Eigenschaften wie Masse (bzw. Dichte), Reibung, Elastizitätsparameter usw. beinhalten. Ein Objekt der visuellen Welt kann eine Entsprechung in der physikalischen Welt haben, obligatorisch ist dies jedoch nicht. Diese Entsprechung ist dann meist geometrisch simplifiziert, um Kollisionsberechnungen zu beschleunigen. So kommt das Bauteil im digitalen Entwicklungsprozess in dreifacher Ausprägung vor: als Konstruktion im CAD, als visuelle Repräsentation in der Simulation und als physikalische Simplifizierung (Bild 2). Effektiv beschreiben die virtuellen CO2-Pellets so eine ballistische Flugbahn und prallen an Hindernissen ab. Und am Bauteil haftende Sandreste fallen bei Kollision erwartungsgemäß zu Boden.

Essentieller Bestandteil einer virtuellen, immersiven Umgebung ist eine zum visuellen Inhalt passende Geräuschkulisse, also die synthetische Erzeugung aller für die Simulation wichtigen Töne und akustischen Effekte. Einfache Geräusche wie das durch die Druckluft innerhalb der Pistole entstehende Zischen können vergleichsweise einfach umgesetzt werden, die Verfügbarkeit einer passenden Tonvorlage (engl. „Sample“) vorausgesetzt. Für Überlagerungseffekte mehrerer Geräusche wie dem hochfrequenten, knallartigen Pellet-Ausstoß muss die verwendete Bibliothek mehrkanalfähig sein. Auch hierzu muss die Programmierumgebung nicht verlassen werden. Die Erstellung komplexerer Sequenzen wie sie bei einem Bewegungsablauf eines Roboters durch Hochfahren, Fahren mit konstanter Zieldrehzahl und Herunterfahren entstehen, müssen jedoch in einer speziellen graphischen Umgebung wie dem FMOD Designer [4] modelliert werden. In ihr werden auch die Variablen definiert, über die der Effekt dann später in der Simulationsanwendung angesteuert wird, hier z.B. die Motordrehzahl.

Benutzbarkeit

Dem Einsatz von Interaktionsmetaphern, also dem Transfer von Interaktionsparadigmen aus der Realität in die Simulation, kommt bei zeit- und sicherheitskritischen Anwendungen eine herausragende Bedeutung zu. Erfordern zentrale Geräte und Apparate des Zielszenarios eine spezielle Handhabung und bestimmte motorische Fähigkeiten, so sollte diesem Umstand bereits in der Simulation entsprochen werden. Es ist nicht zweckmäßig, möglicherweise sogar gefährlich, wenn ein Gerät in der Simulation anders benutzt werden muss oder kann als in der Realität, da sich die Gesamtbeanspruchung ändert und die Erwartungskonformität sinkt. Aktuelle Ergebnisse aus Benutzbarkeitsstudien unter Laborbedingungen zeigen, dass sich gerade die Kombination mehrerer, unterschiedlicher Ansätze des Digital Engineering bei der Entwicklung des AR Trainingssystem gelohnt hat. Eine einfache Bedienung erlaubte eine durchweg kurze Einarbeitungszeit von wenigen Minuten, bis die ersten virtuellen Sandreste entfernt werden konnten. Die bei der Systembenutzung erzeugte mentale und körperliche Beanspruchung wurde von den meisten Probanden als gering eingeschätzt.

Zukünftige Weiterentwicklungen des Systems zielen unter anderem auf die veränderliche Sichtbedingungen durch Dampf und Steigerung der Komplexität durch Multibenutzer- und Multiroboterszenarien ab.

Die Arbeiten werden von der Deutschen Forschungsgemeinschaft im Rahmen des Exzellenzclusters „Integrative Produktionstechnik für Hochlohnländer“ gefördert.

Schlüsselwörter:

Augmented Reality, Mensch-Roboter-Kooperation, Prozessplanung und -simulation

Literatur:

[1] VDI-Richtlinie 3633: Simulation von Logistik-, Materialfluss- und Produktionssystemen. Blatt 1: Grundlagen. Düsseldorf 1993.
[2] Gamma, E.; Helm, R.; Johnson, R. E.: Design Patterns. Elements of Reusable Object-Oriented Software. Amsterdam 1995.
[3] OpenGL: Open Graphics Library. URL: http://www.opengl.org/, Abrufdatum 21.12.2009
[4] FMOD Designer: Music and sound effects system by Firelight Technologies. URL: http://www.fmod.org/, Abrufdatum 21.12.2009

Tags: Augmented Reality Simulation

---

Das könnte Sie auch interessieren