Assisted Reality richtig umsetzen

Damit Smart Glasses Prozesse mithilfe von Augmented Reality effizienter machen können, müssen konkrete Anwendungsfälle auf ihr Nutzenpotenzial hin geprüft werden. Für unseren Vergleich haben wir drei Datenbrillen in 13 praxisrelevanten Szenarien untersucht und hinsichtlich zentraler Kriterien wie Inbetriebnahme, Sprach- und Gestensteuerung, Experten-Modus oder Nutzung von Checklisten getestet.

Die Idee von Assistenzsystemen in der Fabrik ist nicht neu. Als helfende Instanz wird den Akteuren in der Werkhalle (Werker, Produktionsleiter, Ingenieur etc.) ein Gerät zur Seite gestellt, das den Informationszugang effizienter gestaltet und sie darin unterstützt, die Komplexität von Arbeitsaufgaben zu beherrschen. Smart Glasses oder AR-Headsets sind hier als Zugangspunkt und Nutzerschnittstelle eines digitalen Assistenten schon seit längerem eine echte Option.

Im Vergleich zu anderen mobilen Gestaltungsvarianten wie Tablets bieten Datenbrillen den Vorteil der handfreien Nutzung: Der Assistierte hat während der Nutzung beide Hände frei – ein unbestreitbar nützliches Merkmal bei der Arbeit in der Fabrikhalle an der Maschine oder am Halbzeug. Zahlreiche Anwendungsfälle lassen sich hier finden: in der Logistik, bei Inbetriebnahme und Wartung sowie bei Abnahme und Überprüfungen.

Auch haben Smart Glasses inzwischen eine Reife erlangt, die ihren Einsatz in der Praxis nicht als filigranes Science-Fiction-Abenteuer erscheinen lässt. Der Markt bietet einige interessante Produkte, allen voran die Microsoft HoloLens, die teilweise zum Synonym für die Smart-Glass-Anwendung geworden ist und Interessierte nach wie vor in ihren Bann zieht.

Faszination ist gut und schön, jedoch nicht entscheidend, da verbesserte, intelligente Produktionsprozesse und eine Produktivitätssteigerung das primäre Ziel sind. Entsprechend sollte die realistischerweise erreichbare Effizienzsteigerung durch das Gerät im Vordergrund stehen. Angesichts der zahlreichen Ausführungen der am Markt verfügbaren Geräte steht schnell die Frage nach dem passenden Produkt im Raum: Welche Smart Glasses realisieren die allgemeinen Potenziale in der individuellen Situation unter den spezifischen Rahmenbedingungen in meiner Fabrik?

Auf der Suche nach der passenden Antwort hilft diese Testreihe des Zentrums Industrie 4.0 Potsdam (ZIP 4.0). Hier finden Sie nicht nur die konkrete Bewertung möglicher Kandidaten, sondern erhalten ebenso Informationen, welche Eigenschaften des Produkts für die richtige Entscheidung relevant sind.

Neben reinen Hardware-Aspekten spielt die Software eine Rolle, die zum Betrieb der Datenbrille notwendig ist und Funktionen, z. B. in Form von Apps, bereitstellt. Auch kann es der Fall sein, dass für eine sinnvolle Nutzung innerhalb eines Prozesses die weiterführende Integration in die beteiligten Anwendungssysteme notwendig ist, etwa um Aufträge abzurufen oder die Ergebnisse in den Prozess zurückzugeben. Somit sind gegebenenfalls Konnektoren oder Gateways notwendig, die die Anbindung technisch realisieren, beispielsweise in Form entsprechender Software-Clients auf der Brille oder als zusätzliches Gerät mit weiteren Funktionen.

Somit können weitere Komponenten für den nutzbringenden Einsatz der Datenbrille innerhalb komplexer Anwendungen relevant sein. Dies bedeutet, dass eine Assisted-Reality-Lösung aus der Brille selbst und der Integrationssoftware besteht und letztere im weiteren Verlauf als AR-Suite subsummiert. Die AR-Suite kann je nach Aufgabenumfang auf der Brille selbst laufen, muss dann aber mit deren Einschränkungen (wenig Performance, geringere Akkulaufzeit, fehlendes mobiles Datennetz etc.) klarkommen. Alle Komponenten sind in geeigneter Form auszuwählen und aufeinander abzustimmen sowie für die intendierten Anwendungsfälle zu konfigurieren. Grundsätzliches zu diesem Thema finden Sie in dieser Ausgabe der Factory Innovation.

Innerhalb dieses ersten Teils unserer Testreihe geht es nun darum, herauszufinden, welche Brille out-of-the-box die notwendigen Funktionen sinnvoll bereitstellt. Fehlende Funktionen können dann durch eine AR-Suite realisiert werden. Diese testen wir im zweiten Teil unserer Testreihe Assisted Reality in der Fabrik.

Testverfahren Datenbrille

Das Bewertungsverfahren umfasst acht Kategorien und fokussiert auf die Features des Endgeräts. Als Bewertung wird die bekannte Skala der Schulnoten (1 = sehr gut bis 5 = mangelhaft, hier im Sinne von nicht vorhanden) herangezogen. Anschließend findet per Durchschnittsbildung die Zusammenfassung pro Kategorie statt. Basierend darauf werden Sterne vergeben. Je mehr Sterne ein Kandidat erreicht, desto besser ist sein Ergebnis.

Welche Brille passt zu meinem Anwendungsfall? Sind gegebenenfalls weitere Funktionen durch eine AR-Suite zu ergänzen?

Die Frage nach der richtigen Brille lässt sich ohne Bezug zum geplanten Einsatzzweck nicht vollständig beantworten. Um dahingehend weitere praxisrelevante Aussagen zu treffen, die mehr als die Sammlung der Technischen Daten darstellen, wird ergänzend ein weiteres Testverfahren angewendet, das die Erfahrungen zahlreicher Projekte mit Smart Glasses und anderen Elementen des Industrie-4.0-Instrumentariums einbezieht. Dreh- und Angelpunkt bilden Anwendungsszenarien, bestehend aus kompakten Teilszenarien, die aus den theoretischen Potenzialen und aus charakteristischen Anwendungsmustern resultieren. Die Teilszenarien sind als Bausteine zu verstehen, die typischerweise innerhalb von Anwendungsfällen brillenbasierter Assistenzsysteme zum Einsatz kommen. Unsere Tests prüfen dann die jeweiligen Brillen hinsichtlich ihrer Eignung für eben jene Teilszenarien.

Der Fokus liegt also nicht auf einzelnen Merkmalen, sondern deren Kombination in typischen Arbeitssituationen mit der Abarbeitung von Workflows. Wertungen werden damit auf den tatsächlichen Anwendungskontext relativiert. Beispielsweise ist die Aussage „kleines Sichtfeld“ bei der Bearbeitungsassistenz an der Maschine von Bedeutung und die Aufgabenausführung wird hierbei tatsächlich beeinträchtigt. Somit können Sie herausfinden, wo die Stärken der Brille liegen und ob sie für den geplanten Einsatzzweck in ihrer Fabrik infrage kommt.

Der konkrete Test erfolgt innerhalb der hybriden Modellfabrik des ZIP 4.0. Zur Bewertung gibt es wiederum Schulnoten, die beschreiben, wie sich der jeweilige Testkandidat innerhalb eines Teilszenarios geschlagen hat. Somit entsteht ein auf den Anwendungsfall bezogenes Bild der Stärken und Schwächen der jeweiligen Brillen.

Getestete Szenarien

Diese Teilszenarien wurden mit den Brillen getestet. Die relevanten Qualitätsmerkmale und die jeweils ausgeführten Aktionen werden erläutert.

Aufbewahrung

Die Sicherstellung der Arbeitsbereitschaft erfordert den sicheren Transport und die Ablage des mobilen Gerätes ebenso wie ausreichende Ladung des Akkus. Ein Administrationszugang (ggf. auch bei Nichtnutzung) erlaubt das Einspielen von Updates und den passiven Datenabruf.

Aktionen: Transport zum Arbeitsplatz, Ladestand prüfen, ggf. Laden, Datenabruf

Inbetriebnahme des Smart Glass

Die Herstellung der Einsatzbereitschaft muss schnell erfolgen. Dies erfordert Anschalten und Hochfahren in kurzer Zeit. Ein Ruhezustand spart Energie und die Arbeit lässt sich nahtlos fortsetzen. Der Start der jeweiligen Anwendung muss unverzüglich erfolgen. Ein Kiosk-Mode ist übersichtlich und  hilfreich. Gegebenenfalls ist eine Nutzeridentifikation (mit Authentifizierung) relevant, ebenso wie die zuverlässige Verbindung (Auswahl SSID etc.) zum Netz für den Online-Modus. Auch individuelle Nutzereinstellungen –manuell zugänglich oder automatisch –sind vorteilhaft.

Aktionen: Hochfahren, Authentifizierung, WLAN verbinden, Schriftgröße anpassen, Anwendung starten, Sprachwahl

Das Umschalten der Sprache kann bei Inbetriebnahme als auch im laufenden Betrieb notwendig sein. Dafür ist ein entsprechendes Bedienelement problemlos erreichbar. Die nutzerspezifische Einstellung bezieht sich sowohl auf das User-Interface (Menüs etc.) als auch auf die Spracherkennung (Kommandos).

Aktionen: Wechsel der Sprache mit Auswahl und zurück

Sprachsteuerung

Die Spracherkennung ist ein wichtiges Element der Interaktion mit dem Gerät und ermöglicht echtes handfreies Arbeiten (im Gegensatz zu Gesten). Sie muss auch in lauten Umgebungen eine hohe Trefferquote aufweisen und muss mit unterschiedlichen Akteuren (Akzent, Dialekt etc.) klarkommen. Idealerweise gibt es definierte intuitive Sprachbefehle, die hinterlegt und mit Aktionen der App verknüpft sind. Der Befehlsumfang ist kontextsensitiv abrufbar. Eine langwierige Anlernphase oder eine stetige Online-Verbindung entfällt. Es sind Werteingaben (Datum) per Sprachsteuerung möglich.

Aktionen: Kommandos bei lautem Fabriklärm, Nutzerwechsel, Kommandos testen und Hilfe aufrufen, Länge eintragen

Gestensteuerung

Die Gestensteuerung ist eine weitere Möglichkeit zur Interaktion. Bewegung der Hände bzw. Finger und deren Verortung im Raum werden durch die Brille erfasst und in Aktionen umgesetzt. Diese Gesten müssen präzise erkannt werden. Die Brillen müssen ohne Verzögerungen optisches Feedback geben und die passende Aktion auslösen. Die Interpretation komplexer Gesten mit Differenzierung der Finger gestattet die Realisierung unterschiedlicher Kommandos, auch ohne wahrnehmbares Bewegungsdelta, d. h. es genügen geringe Wege. Beispielsweise sind für die virtuelle Betätigung eines Knopfes nur wenige Zentimeter nötig und nicht ein kompletter Körpereinsatz.

Aktionen: Ausführen verschiedener Gesten im Rahmen typischer Bedienaktionen (Auswählen, Vergrößern, Bewegen …)

Offline-Betrieb

Die reguläre Arbeit – sofern inhaltlich sinnvoll – ist möglich. Anwendungen funktionieren und Dokumente sind auch lokal verfügbar. Das ist wichtig in Bereichen ohne WLAN (Montage in Kellerräumen) oder mit starken Störungen (bestimmte Maschinen in der Werkhalle).

Aktionen: Nutzung mit deaktiviertem WLAN, Dokumentenzugriff per lokalem Dateisystem

Checkliste

Checklisten sind ein wiederkehrendes Element der Workflow-Ausführung: Eine Anzahl von Arbeitsschritten muss nacheinander abgearbeitet werden, typischerweise vorzufinden bei Prüfvorgängen, Arbeitsanweisungen oder der Fehlersuche. Praktisch ist eine Voransicht. Bei der Bearbeitung des jeweiligen Arbeitsschrittes gibt es Informationen (was ist zu tun oder zu prüfen, Text und Bild). Es gibt Eingabemöglichkeiten (gemessene Länge) und Entscheidungsoptionen (OK, fehlerhaft, in Ordnung) zur Steuerung des Ablaufs als auch Aufrufmöglichkeiten zur Dokumentation (Foto aufnehmen). Zu weiteren Informationen oder Hilfen (Handbücher, Remote-Experte) sind Interaktionselemente (Buttons, Datum, Mengen …) vorhanden. Gegebenenfalls sind auch komplexe Ablaufstrukturen mit Verzweigungen (Wenn-Dann- …) und unterschiedlichen Endpunkten abbildbar.

Aktionen: Übersicht anzeigen, Arbeitsschritt ausführen, Foto aufnehmen, Verzweigung zu den weiteren Teilszenarien

Dokumentenzugriff

Die Darstellung von Dokumenten ist eine mögliche Unterstützung bei der Lösungsfindung (Nachschlagen in Handbüchern oder Prozessbeschreibungen etc.). Dazu gehört das Filtern (kontext-sensitiv und per Suchbegriff) der Dokumente, deren brillentaugliche Darstellung (PDF, Video) mit Navigation im Dokument (Scrollen, Zoom und Sichtbereich) ebenso wie das Suchen und Finden innerhalb des Dokuments. Dies natürlich mit dem vom Gerät präferierten Bedienmedium (Sprache oder Geste).
Aktionen: Auswahl und Aufruf, Navigation im Dokument gemäß der genannten Aufgaben

Zuschaltung Experten (asynchron)

Als Hilfsmittel der Problem-Eskalation dient das Hinzuziehen eines Experten. Dieser ist nicht vor Ort, die Kommunikation geschieht durch Nutzung der Datenbrille. Im asynchronen Fall heißt das, dass zum Zeitpunkt des Problems kein passender Experte verfügbar ist (z. B. durch Zeitversatz zwischen Werk und Experten). Deshalb dokumentiert der Werker sein Problem in einem Video und sendet es an den Experten. Nach Bearbeitung durch jenen (Markieren, Kommentare, zusätzliche Infos) kann der Werker seine Arbeit fortsetzen.

Aktionen: Expertenliste, Aufnahme, Bearbeitung durch Experten (Desktop, Markieren und Anmerken), Rückmeldung an Werker (Dokumente)

Zuschaltung eines Experten (synchron)

Auch die synchrone Variante der fernen Expertenunterstützung spielt eine Rolle, welche analog zum vorhergehenden Teilszenario unter Verwendung der Datenbrille ggf. aus einer Checkliste heraus abläuft. Nach Auswahl des passenden Experten und Kontaktaufnahme interagieren Werker und Experte direkt. Letzterem liegen idealerweise die Daten zur bisherigen Situation vor. Mögliche Interaktionsstufen des Experten sind: Audio/Video/Screen Sharing, auf Dokumente zugreifen und diese einspielen, Zeigeinstrument (Remote Cursor) und Markierungen vornehmen.

Aktionen: Expertenliste mit Online-Status, vorhandene Interaktionsstufen prüfen

Remote-Session

Remote-Experte schickt einen Mitarbeiter vor Ort als „verlängerte Hand“. Unter Nutzung der Brille folgt er den Anweisungen des Experten.

Aktionen: Experte fordert vor Ort Hilfe an, der Mitarbeiter setzt die Brille auf und beginnt die Sitzung

Datenvisualisierung

Dieses Teilszenario greift die Möglichkeit auf, mit der Datenbrille ortsbezogen Daten zu visualisieren. Der  Nutzer blickt mit der Brille in die Werkhalle oder auf ein bestimmtes Objekt, die Brille erkennt das Objekt oder die Perspektive und liefert entsprechend situative Informationen, beispielsweise als Dashboard zum jeweiligen Arbeitsstand oder den Status zum Einzelobjekt.

Aktionen: Dashboard per Perspektive/Standort und per Einzelobjekt

Integration ERP

Hohes Potenzial durch die Datenbrille entsteht durch die Anbindung an die prozessbegleitenden Systeme, die neben den Objekten selbst wesentliche Datenquellen darstellen. Dies umfasst Datenabrufe (Auftragsdaten, Nutzerprofile, Workflows, Checklisten, Dokumente o. ä.) als auch Rückmeldungen aufgenommener Daten, automatisierte Dokumentation durchgeführter Aktionen.

Aktionen: Datenabruf (Aufträge und assoziierte Checklisten) und Datenübergabe (aufgenommene Daten, automatisierte Dokumentation)

Messmittel-Anbindung/Bedienhardware

Die Ergänzung der Datenbrille durch weitere Geräte kann sinnvoll sein. Dies ist der Fall mit zusätzlicher Sensorik, die zusätzliche Daten bereitstellt oder die Eingabe von Datenwerten erleichtert, oder mit weiteren Bedienelementen, die für den Anwendungsfall Erleichterung oder Zeiteinsparung bedeutet. Die Anbindung geschieht z. B. mit Bluetooth. Ebenso ist die Softwareintegration der Komponenten interessant, die dafür sorgt, dass sich das aufgenommene Datum an der richtigen Stelle wiederfindet (Eingabefeld).

Aktionen: Aufnahme einer Länge per elektronischem Messstab

MS Teams-Integration

Dieses Teilszenario ist auf Grund von Erfahrungen explizit dabei. Da dies im Rahmen der ersten Schritte der Verwendung von Smart Glasses einen häufigen Einstieg  darstellt. Wie gut funktioniert der Teams-Client auf der Brille bzw. wie geht er mit den Einschränkungen gegenüber der üblichen Bildschirmlösung um?

Aktionen: Teams-Session per Brille

Die Komposition der Teilszenarien ergibt repräsentative Anwendungsfälle. Ein Beispiel ist ein Prüfvorgang/Abnahme mit Prüfauftrag, mehreren Schritten mit Freigabe (z. B. QS) und Dokumentation der Teilergebnisse (Prüfprotokoll). Primäre Teilszenarien bilden hierbei die Checkliste, die Zuschaltung eines Experten (synchron) und die Integration von ERP/Datenabruf. Ein weiteres Beispiel eines Anwendungsfalls ist die Einrichtung/Werkzeugmontage an einer Anlage mit Abarbeitung einer Arbeitsvorgabe (Checkliste), Nutzung der Dokumentation (Eskalationsstufe 1) und Remote-Support durch Experten (Eskalationsstufe 2, asynchron oder synchron).

Teilszenarien sind damit die Checklisten, Dokumentenzugriff und die Zuschaltung eines Experten, ergänzt um die Teilszenarien Sprachauswahl und Teams-Integration. Und noch ein Beispiel, der Einsatz der Datenbrille als Ad-hoc-Unterstützung bei der Fehlerbehebung. Bei einem Industrieroboter, der seine Arbeit auf Grund unbekannter Ursache nicht weiterführt, ist die Fehlersuche und -behebung Aufgabe des Werkers, dem die Datenbrille als ergänzendes Hilfsmittel zur Verfügung steht. Dokumentenzugriff und Offline-Betrieb, ggf. auch Checklisten sind hier die Teilszenarien.

Testkandidaten

Die Testkandidaten für diese Testreihe rekrutieren sich aus dem Feld verfügbarer Lösungen. Auf dem Prüfstand befinden sich die HMT-1 von Realwear, ein klassisches, monokulares Assisted-Reality-Gerät für den industriellen Gebrauch, das Google Glass Enterprise 2 als Googles zweiter Versuch, die zu früh gebrachte Lösung doch noch zu platzieren, und natürlich die HoloLens 2 von Microsoft, die inzwischen ebenfalls in zweiter Generation vorliegt und im Vergleich zum Vorgänger einige Mankos behoben hat und vielleicht nun den Weg in die breite Anwendung finden wird.

Die Hersteller preschen mit vollmundigen Versprechen auf Webseiten und in den Medien nach vorn. Es bleibt abzuwarten, ob die neuen Sterne in der Praxis bestehen und die durch ihre Schöpfer propagierten Potenziale tatsächlich auf die Straße gebracht werden. Unser Test liefert dazu Erkenntnisse und hilft Ihnen, die richtige Entscheidung bei der Auswahl der Datenbrille zu treffen.

Unsere Abonnenten finden hier die ausführlichen Testberichte zu den einzelnen Brillen.

Das könnte Sie auch interessieren

Wenn Lean nicht wirkt, liegt es nicht an Lean Veränderte Arbeitswelten eröffnen neue Perspektiven

Lean Management ist in vielen Unternehmen etabliert, doch die erhofften Verbesserungen bleiben häufig aus. Methoden werden zur Routine, Initiativen verlieren an Dynamik und Mitarbeitende erleben Lean als zusätzliche Aufgabe. Entscheidend ist nicht allein der Einsatz von Werkzeugen, sondern die Haltung dahinter. Beteiligung, Eigenverantwortung und eine veränderte Führungskultur schaffen die Grundlage für nachhaltige Verbesserungen.

Die Organisation der Zukunft Industrielle Transformation braucht mehr als Technologie

Die Fabrik der Zukunft wird häufig über Technologien beschrieben: KI, Digitale Zwillinge, vernetzte Maschinen. Doch mit der technischen Leistungsfähigkeit wächst eine zweite Herausforderung: Wie muss sich die Organisation verändern? POWER verbindet fünf organisatorische Fähigkeiten: Performance, Organization, Wisdom, Excellence und Responsibility. Sie werden besonders dort relevant, wo Engineering, Beschaffung, Fertigung und Projektabwicklung zusammenspielen.

Der nächste Hebel heißt Agentic AI Daten und Kontext entscheiden über den Erfolg in der Industrie – nicht das KI-Tool

Während KI in der Produktion vielerorts bereits angekommen ist, bleibt ein anderer Bereich oft unbetrachtet: das Backoffice. Genau hier setzt Agentic AI an: autonome KI-Agenten, die mehrstufige Aufgaben eigenständig planen und ausführen. Ihr Potenzial wächst mit jeder zusätzlichen Datenquelle, die sie verlässlich einbinden können. Produzierende Unternehmen sollten jetzt in Agentic AI investieren. Am Ende entscheidet aber auch die eigene Datenbasis.

Auswirkungsanalyse technischer Änderungen mit GenAI Eine Evaluation der Potenziale großer Sprachmodelle

Moderne Produkte sind durch eine zunehmende Komplexität, Individualisierung sowie die Integration von Mechanik, Elektronik und Software gekennzeichnet. Damit geht eine zunehmende Vielfalt interner und von Kunden angeforderter technischer Änderungen einher. Ob große Sprachmodelle die Folgen technischer Änderungen zuverlässig erfassen und für Produktentwickler verständlich aufbereiten können, ist bisher kaum untersucht worden.

Der neue Kollege im Shopfloor KI-Assistenzsysteme stärken Fachkräfte im Mittelstand

Viele mittelständische Produktionsunternehmen können ihre Fertigung noch nicht vollständig automatisieren. Gleichzeitig eröffnen Fortschritte in Robotik und KI neue Möglichkeiten, Prozesse schrittweise intelligenter und flexibler zu gestalten. Intelligente Mensch-Technik-Systeme verbinden die Erfahrung und Kompetenz der Mitarbeitenden mit digitalen Assistenzsystemen direkt am Shopfloor. Sie unterstützen bei komplexen Aufgaben, erleichtern den schnellen Zugang zu Wissen und helfen dabei, Fehler zu vermeiden. So lassen sich Produktivität und Qualität steigern – auch in gewachsenen Produktionsumgebungen, in denen eine vollständige Automatisierung nicht wirtschaftlich oder technisch sinnvoll ist.

Integration statt Inseldenken Smart Production mit Plattformstrategie

ZF hat mit der Digital Manufacturing Platform (DMP) eine der umfassendsten digitalen Transformationen der Fertigungsindustrie umgesetzt. Innerhalb kurzer Zeit entstand ein global einheitliches Produktionsnetzwerk, das Prozesse standardisiert, Datensilos auflöst und End-to-End-Transparenz schafft. Die Plattform ermöglicht eine hohe Skalierbarkeit und unterstützt agile, datenbasierte Entscheidungen – auch unter herausfordernden Bedingungen wie der Corona-Pandemie.