X-Ray Vision: Das Augmented-Reality-Headset des MIT ermöglicht es Ihnen, versteckte Objekte zu sehen

MIT Augmented-Reality-Headset

Ein Augmented-Reality-Headset kombiniert Computervision und drahtlose Wahrnehmung, um automatisch einen bestimmten Gegenstand zu lokalisieren, der nicht sichtbar ist, vielleicht in einer Kiste oder unter einem Stapel, und den Benutzer dann zu führen, ihn zu holen. Bildnachweis: Mit freundlicher Genehmigung der Forscher, herausgegeben von MIT News

Das Gerät könnte Arbeitern helfen, Objekte für die Erfüllung von E-Commerce-Bestellungen zu finden oder Teile für die Montage von Produkten zu identifizieren.

MIT Forscher haben ein Augmented-Reality-Headset gebaut, das dem Träger Röntgenblick gibt.

Das Headset kombiniert Computervision und drahtlose Wahrnehmung, um automatisch einen bestimmten Gegenstand zu lokalisieren, der nicht sichtbar ist, beispielsweise in einer Kiste oder unter einem Stapel, und den Benutzer dann zu führen, ihn zu holen.

Das System nutzt Hochfrequenzsignale (RF), die gängige Materialien wie Kartons, Kunststoffbehälter oder Holztrennwände passieren können, um versteckte Gegenstände zu finden, die mit RFID-Tags gekennzeichnet sind, die von einer HF-Antenne gesendete Signale reflektieren.

Das Headset leitet den Träger beim Gehen durch einen Raum zum Standort des Gegenstands, der als transparente Kugel in der Augmented Reality (AR)-Schnittstelle angezeigt wird. Sobald sich der Gegenstand in der Hand des Benutzers befindet, überprüft das Headset namens X-AR, ob er den richtigen Gegenstand aufgenommen hat.

Als die Forscher X-AR in einer lagerähnlichen Umgebung testeten, konnte das Headset versteckte Gegenstände auf durchschnittlich 9,8 Zentimeter genau lokalisieren. Und es wurde bestätigt, dass die Benutzer mit 96 Prozent den richtigen Artikel abgeholt haben

Genauigkeit
Wie nahe der gemessene Wert dem korrekten Wert entspricht.

” data-gt-translate-attributes=”[{[{“Attribut”:”data-cmtooltip”, “Format”:”html”}]”>Genauigkeit.

X-AR könnte E-Commerce-Lagerarbeitern dabei helfen, Artikel in überfüllten Regalen oder in Kisten vergraben schnell zu finden oder den genauen Artikel für eine Bestellung zu identifizieren, wenn sich viele ähnliche Objekte im selben Behälter befinden. Es könnte auch in einer Produktionsstätte verwendet werden, um Technikern dabei zu helfen, die richtigen Teile für die Montage eines Produkts zu finden.


MIT-Forscher haben ein Augmented-Reality-Headset erfunden, das Menschen Röntgenblick verleiht. Die als X-AR bezeichnete Erfindung kombiniert drahtlose Sensorik mit Computer Vision, um es Benutzern zu ermöglichen, versteckte Gegenstände zu sehen. X-AR kann Benutzern helfen, fehlende Gegenstände zu finden und sie zu diesen Gegenständen zum Abrufen zu führen. Diese neue Technologie hat viele Anwendungen in Einzelhandel, Lagerhaltung, Fertigung, Smart Homes und mehr.

„Unser ganzes Ziel bei diesem Projekt war es, ein Augmented-Reality-System zu bauen, das es Ihnen ermöglicht, Dinge zu sehen, die unsichtbar sind – Dinge, die sich in Kisten oder um Ecken befinden – und dabei kann es Sie zu ihnen führen und es Ihnen wirklich ermöglichen, zu sehen die physische Welt auf eine Weise, die vorher nicht möglich war“, sagt Fadel Adib, außerordentlicher Professor an der Fakultät für Elektrotechnik und Informatik, Direktor der Signalkinetik-Gruppe im Medienlabor und leitender Autor eines Artikels auf X-AR.

Co-Autoren von Adib sind die wissenschaftlichen Mitarbeiter Tara Boroushaki, die Hauptautorin des Papiers; Maisy Lam; Laura Dodds; und ehemalige Postdoc Aline Eid, die jetzt Assistenzprofessorin an der University of Michigan ist. Die Forschungsergebnisse werden auf dem USENIX Symposium on Networked Systems Design and Implementation präsentiert.

Augmentieren eines AR-Headsets

Um ein Augmented-Reality-Headset mit Röntgenblick zu entwickeln, mussten die Forscher zunächst ein vorhandenes Headset mit einer Antenne ausstatten, die mit RFID-markierten Gegenständen kommunizieren konnte. Die meisten RFID-Lokalisierungssysteme verwenden mehrere Antennen, die mehrere Meter voneinander entfernt sind, aber die Forscher benötigten eine leichte Antenne, die eine ausreichend hohe Bandbreite erreichen konnte, um mit den Tags zu kommunizieren.

„Eine große Herausforderung bestand darin, eine Antenne zu entwickeln, die auf das Headset passt, ohne die Kameras abzudecken oder deren Betrieb zu behindern. Das ist sehr wichtig, da wir alle Spezifikationen des Visiers verwenden müssen“, sagt Eid.

Das Team nahm eine einfache, leichte Schleifenantenne und experimentierte, indem es die Antenne verjüngte (wodurch ihre Breite allmählich geändert wurde) und Lücken hinzufügte, beides Techniken, die die Bandbreite erhöhen. Da Antennen normalerweise im Freien betrieben werden, optimierten die Forscher sie für das Senden und Empfangen von Signalen, wenn sie am Visier des Headsets befestigt sind.

Nachdem das Team eine effektive Antenne gebaut hatte, konzentrierte es sich darauf, sie zur Lokalisierung von Gegenständen mit RFID-Tags zu verwenden.

Sie nutzten eine Technik, die als Radar mit synthetischer Apertur (SAR) bekannt ist und der ähnelt, wie Flugzeuge Objekte am Boden abbilden. X-AR nimmt mit seiner Antenne Messungen aus verschiedenen Blickwinkeln vor, während sich der Benutzer im Raum bewegt, und kombiniert diese Messungen. Auf diese Weise wirkt es wie ein Antennenarray, bei dem Messungen von mehreren Antennen kombiniert werden, um ein Gerät zu lokalisieren.

X-AR verwendet visuelle Daten aus der Selbstverfolgungsfunktion des Headsets, um eine Karte der Umgebung zu erstellen und seinen Standort innerhalb dieser Umgebung zu bestimmen. Während der Benutzer geht, berechnet es die Wahrscheinlichkeit des RFID-Tags an jedem Ort. Die Wahrscheinlichkeit ist an der genauen Position des Tags am höchsten, daher verwendet es diese Informationen, um das versteckte Objekt zu lokalisieren.

„Während es bei der Entwicklung des Systems eine Herausforderung darstellte, haben wir in unseren Experimenten festgestellt, dass es tatsächlich gut mit natürlichen menschlichen Bewegungen funktioniert. Da sich Menschen viel bewegen, können wir Messungen an vielen verschiedenen Orten vornehmen und einen Gegenstand genau lokalisieren“, sagt Dodds.

Sobald X-AR das Objekt lokalisiert hat und der Benutzer es aufhebt, muss das Headset überprüfen, ob der Benutzer das richtige Objekt gegriffen hat. Aber jetzt steht der Benutzer still und die Headset-Antenne bewegt sich nicht, sodass er SAR nicht verwenden kann, um das Tag zu lokalisieren.

Wenn der Benutzer jedoch den Artikel aufnimmt, bewegt sich der RFID-Tag mit. X-AR kann die Bewegung des RFID-Tags messen und die Handverfolgungsfunktion des Headsets nutzen, um den Gegenstand in der Hand des Benutzers zu lokalisieren. Dann prüft es, ob das Tag die richtigen HF-Signale sendet, um sicherzustellen, dass es sich um das richtige Objekt handelt.

Die Forscher nutzten die holografischen Visualisierungsmöglichkeiten des Headsets, um diese Informationen für den Benutzer auf einfache Weise anzuzeigen. Sobald der Benutzer das Headset aufsetzt, verwendet er Menüs, um ein Objekt aus einer Datenbank mit markierten Elementen auszuwählen. Nachdem das Objekt lokalisiert wurde, wird es von einer transparenten Kugel umgeben, sodass der Benutzer sehen kann, wo es sich im Raum befindet. Dann projiziert das Gerät die Trajektorie zu diesem Gegenstand in Form von Schritten auf dem Boden, die dynamisch aktualisiert werden können, wenn der Benutzer geht.

„Wir haben alle technischen Aspekte abstrahiert, damit wir dem Benutzer ein nahtloses, klares Erlebnis bieten können, was besonders wichtig wäre, wenn jemand dies in einer Lagerumgebung oder in einem Smart Home einsetzen würde“, sagt Lam.

Testen des Headsets

Um X-AR zu testen, erstellten die Forscher ein simuliertes Lager, indem sie Regale mit Kartons und Plastikbehältern füllten und darin mit RFID-Tags versehene Gegenstände platzierten.

Sie fanden heraus, dass X-AR den Benutzer mit weniger als 10 Zentimetern Fehler zu einem Zielobjekt führen kann – was bedeutet, dass sich das Objekt im Durchschnitt weniger als 10 Zentimeter von der Stelle entfernt befand, an der X-AR den Benutzer geleitet hat. Die von den Forschern getesteten Basismethoden hatten einen mittleren Fehler von 25 bis 35 Zentimetern.

Sie fanden auch heraus, dass es korrekt verifizierte, dass der Benutzer in 98,9 Prozent der Fälle den richtigen Artikel genommen hatte. Damit ist X-AR in der Lage, Kommissionierfehler um 98,9 Prozent zu reduzieren. Es war sogar zu 91,9 Prozent genau, wenn sich der Artikel noch in einer Schachtel befand.

„Das System muss den Artikel nicht visuell sehen, um zu bestätigen, dass Sie den richtigen Artikel genommen haben. Wenn Sie 10 verschiedene Telefone in ähnlicher Verpackung haben, können Sie möglicherweise keinen Unterschied zwischen ihnen erkennen, aber es kann Ihnen helfen, trotzdem das richtige auszuwählen“, sagt Boroushaki.

Nachdem sie nun den Erfolg von X-AR demonstriert haben, planen die Forscher zu untersuchen, wie verschiedene Sensormodalitäten wie WiFi, mmWave-Technologie oder Terahertz-Wellen verwendet werden könnten, um seine Visualisierungs- und Interaktionsfähigkeiten zu verbessern. Sie könnten auch die Antenne so verbessern, dass ihre Reichweite mehr als 3 Meter beträgt, und das System für die Verwendung durch mehrere koordinierte Headsets erweitern.

„Da es so etwas heute nicht mehr gibt, mussten wir uns überlegen, wie wir ein komplett neues System von Anfang bis Ende aufbauen können“, sagt Adib. „In Wirklichkeit haben wir uns einen Rahmen ausgedacht. Es gibt viele technische Beiträge, aber es ist auch eine Blaupause dafür, wie man in Zukunft ein AR-Headset mit Röntgenblick entwerfen würde.“

„Dieses Papier macht einen bedeutenden Schritt in die Zukunft von AR-Systemen, indem es sie dazu bringt, in Szenarien ohne Sichtverbindung zu arbeiten“, sagt Ranveer Chandra, Managing Director of Industry Research bei Microsoft, der nicht an dieser Arbeit beteiligt war. „Es verwendet eine sehr clevere Technik zur Nutzung der HF-Erkennung, um die Computer-Vision-Fähigkeiten bestehender AR-Systeme zu erweitern. Dies kann die Anwendungen der AR-Systeme in Szenarien treiben, die vorher nicht existierten, wie z. B. im Einzelhandel, in der Fertigung oder in neuen Qualifizierungsanwendungen.“

Referenz: „Augmenting Augmented Reality with Non-Line-of-Sight Perception“ von Tara Boroushaki, Maisy Lam, Laura Dodds, Aline Eid und Fadel Adib.
Pdf

Diese Forschung wurde teilweise von der National Science Foundation, der Sloan Foundation und dem MIT Media Lab unterstützt.

Leave a Reply

Your email address will not be published. Required fields are marked *

Most Popular

On Key

Related Posts