EASY Software ersforscht Möglichkeiten mit der Microsoft Hololens

EASY trifft Mixed reality HoloLens

Mixed, augmented und virtual reality – alles brandaktuelle Schlagworte, welche die IT-Branche gerade umtreiben. Wie sich die Mixed reality mit der Microsoft HoloLens beispielsweise für die Industrie nutzen lässt, das haben nun Auszubildende und Werkstudenten von EASY SOFTWARE in der Praxis erforscht.

Was ist eigentlich Mixed reality? Dieser Begriff beschreibt eine Vermischung der natürlichen Wahrnehmung eines Nutzers mit einer künstlichen. Ganz konkret: Man ist in der Lage innerhalb der „normalen“ Welt zusätzlich künstliche 2D Dokumente oder 3D-Projektionen darzustellen. Das ist möglich mit der Microsoft HoloLens. Die Microsoft HoloLens ist eine Mixed-reality-Brille, die über Sprach- und Gestenerkennung sowie durch Kopfbewegungen gesteuert werden kann.

Praktische Einsatzmöglichkeiten für die Microsoft HoloLens

EASY SOFTWARE rief kurzerhand ein Projekt ins Leben: Auszubildende sollten die Einsatzmöglichkeiten der Mixed reality HoloLens für die Industrie erforschen und erproben. Das fand natürlich Anklang beim Nachwuchs, es kamen auch Werkstudenten dazu. „Die Überlegung war, wie man unsere Produkte EASY Content Web Services und EASY Archive Smart mit neuen Technologien wie der Microsoft HoloLens verbinden kann“, sagt Andreas Schneider, Leiter der Business Unit ECM, der das Projekt initiiert hat.

Die Zukunft von technischem Service mit der Microsoft HoloLens

Der Use Case des Nachwuchsprojektes ist ein Elevator Service Engineer, dessen Wartungsarbeiten ganz ohne physische Dokumente erfolgen sollen. Konkret ausgedrückt, der Techniker vor Ort kann sich über die Microsoft HoloLens direkt virtuell Dokumente wie Anleitungen oder Baupläne eines Auszugs über die Sprachsteuerung aus dem Archiv aufrufen lassen und per Gestensteuerung in sein Blickfeld heranziehen oder wegschieben. Ferner sollen sich auch 3D-Projektionen, zum Beispiel Baupläne, als Modell virtuell anzeigen lassen, ohne dass die natürliche Sicht behindert wird. Das Projekt orientiert sich an dem Anwendungsfall von thyssenkrupp Elevator AG, die bereits mit der HoloLens im Bereich des Aufzugsservice entwickelt.
Das Projekt hat somit zwei Aspekte: einen technischen, der die Frage nach der Programmierung aufwirft, und einen ergonomischen, der die Schnittstelle zwischen Mensch und Maschine beschreibt bzw. die User Experience abbildet.

Forschen, entwickeln und Erfahrungen sammeln

Einen Monat hat das Team um Jan Vogt, Manuel Fessen, Leon Tambak, Michael Mahr und Daniel Zimmermann an dem Projekt gearbeitet, der Abschluss bildete ein fünftägiger Hackathon. Es galt einige Stolperfallen zu bewältigen: „Manche Funktionen der HoloLens sind noch in der Entwicklung. Die Gestenerkennung funktioniert zwar, aber noch recht rudimentär“, kommentiert Michael Mahr die Ergebnisse. Am Ende stand der Prototyp, mit dem es möglich ist, Dokumente aus dem EASY Archive Smart per Sprachsteuerung anzeigen zu lassen und durch die Dokumente zu browsen. Der Nutzer kann Dokumente ran- und rauszoomen.

Die nächsten Schritte im Projekt werden eine Anbindung von Content Web Service zum Auslesen von PDF-Dokumenten, die Anbindung und Darstellung von 3D-Modellen sowie eine physikalische Simulation von 3D-Modellen sein. Das Potential für EASY sieht das Team in einer KI-Anbindung, indem der KI-Assistent Aktionen erkennt und vorschlägt sowie der revisionssicheren Archivierung von 3D-Objekten. Möglich sind außerdem das Speichern von 3D-Modellen nach Inspektionen und der Zugriff auf eine Historie. Auch virtuelle Konferenzen mit Hilfe der Microsoft HoloLens können für EASY nützlich werden. Das Ziel ist, einen Showcase zu schaffen, um beispielsweise auf Messen und bei Kunden zeigen zu können, was man mit den EASY Produkten in Verbindung mit zukunftsweisenden Technologien erreichen kann.

Sie möchten mehr erfahren? Informieren Sie sich jetzt über die EASY Cloud Platform und die Lösungen von EASY für zukunftsweisende Technologien: