Topthemen

Gaming, Autos, Smart Home & mehr: Das können Time-of-Flight-Kameras

AndroidPIT lenovo phab 2 pro tof camera 4461
© nextpit

Time-of-Flight-Kameras sind nicht nur das Herzstück der ersten beiden Tango-Smartphones von Lenovo und Asus. Die ToF-Module sind beispielsweise auch für Virtual-Reality-Anwendungen, Überwachungskameras und autonome Autos wichtig. Hier gibt's einen Überblick – und ein Interview mit demjenigen, der für die in den aktuellen Tango-Geräten verbauten ToF-Kameras verantwortlich ist.

Von außen sieht das Kamera-Modul im Lenovo Phab 2 Pro oder im Asus Zenfone AR gar nicht so spektakulär aus. Doch der von Infineon und PMD entwickelte Real3-Sensor ist alles andere als gewöhnlich: Anstelle eines RGB-2D-Fotos fängt er ein echtes 3D-Video ein – mit Tiefeninformationen zu jedem einzelnen Pixel. Wir haben an anderer Stelle bereits im Detail erklärt, wie die ToF-Kamera im Phab 2 Pro funktioniert.

real3 sensors
Die Auflösung klingt nach nicht viel, doch dafür hat jeder Pixel eine Tiefeninformation. In den beiden Tango-Smartphones von Lenovo und Asus steckt übrigens der IRS1645C. / © NextPit

Google Tango konzentriert sich dabei auf Augmented-Reality-Anwendungen, bei denen die Smartphones auf dem Display das Live-Bild der Kamera einblenden und mit virtuellen Objekten überlagern. Dadurch, dass das Tango-Smartphone kontinuierlich den Raum scannt, kennt es seine eigene Position sehr genau und kann die AR-Objekte extrem präzise im Raum verankern. 

So kann man dann beispielsweise mit virtuellen Haustieren spielen oder Möbel in Originalgröße ausprobieren. Ein weiterer Punkt betrifft die Indoor-Navigation: Wo kein GPS-Empfang verfügbar ist, erkennt das Smartphone anhand der Form des Raumes seine Position und leitet den Nutzer dann durch Flughäfen, Einkaufszentren & Co.

Jenseits von Tango

Die ToF-Sensoren sind natürlich nicht nur auf Tango-Smartphones beschränkt. Eine auf der Vorderseite des Smartphones könnte beispielsweise ein sichereres Entsperren per Gesichtserkennung ermöglichen. Mit einem simplen Foto lässt sich die 3D-Kamera nämlich nicht austricksen.

Auch in Zusammenarbeit mit der gewöhnlichen RGB-Kamera lassen sich interessante Anwendungen konstruieren, Stichwort: Computational Photography. Wenn das Smartphone eine 3D-Karte des Raumes hat, dann ist es ein Leichtes, Effekte nur auf bestimmte Bildteile anzuwenden und beispielsweise die Schärfentiefe in einem Foto nachträglich festzulegen. 

ar scan
Dieses 3D-Bild des MWC-Meetingraumes war in wenigen Sekunden im Kasten. / © NextPit

Virtual Reality

Ein weiterer spannender Anwendungsbereich ist Virtual Reality: Ein Headset mit integrierter Time-of-Flight-Kamera ermöglicht es dem Träger, sich frei im Raum zu bewegen. In Zusammenarbeit mit weiteren Sensoren für Beschleunigung & Co. ist es nämlich möglich, kontinuierlich die Kopfposition des Nutzers zu bestimmen und das in der Brille dargestellte Bild exakt daran anzupassen. Externe Kameras oder Lighthouses, wie etwa bei der HTC Vive, sind dann nicht mehr erforderlich. Und es ließe sich effektiv verhindern, dass der Nutzer in seiner virtuellen Realität gegen eine reale Wand läuft. Man spricht dabei vom sogenannten Inside-Out-Tracking.

Die Abbildung des eigenen Körpers in die virtuelle Realität ist ein weiterer Aspekt. Die Hände lassen sich etwa in Echtzeit scannen und dann in die gerade laufende VR-Anwendung integrieren. Weiterhin ist auch eine Interaktion mit Gegenständen aus der realen Welt denkbar. Wenn wir also beispielsweise in ein paar Jahren an Virtual-Reality-Meetings teilnehmen, können wir aus dem realen Glas auf dem realen Tisch vor uns einen realen Schluck Wasser trinken, da dieses in Echtzeit gescannt und in unsere VR-Umgebung integriert wird.

vr gestures
Gestensteuerung oder das Einfügen der eigenen Gliedmaßen in die Virtual Reality? Mit ToF-Kameras ist das kein Problem. / © NextPit

Weitere Anwendungen 

Bei Smartphones und AR respektive VR ist noch lange nicht Schluss. Die Technologie soll etwa auch intelligente Überwachungskameras mit deutlich umfassenderen Analysemöglichkeiten erlauben. So ließe sich dann abends beispielsweise einfach abfragen, wann die Kinder von der Schule nach Hause gekommen sind – und das System präsentiert aus der Videoaufzeichnung die entsprechende Stelle. Das geht, weil die ToF-Kamera dank der Tiefeninformationen besser erkennen kann, welches Objekt bzw. Person sich gerade bewegt.

Eine Gestensteuerung per ToF-Kamera ist bereits in den ersten Fahrzeugen von BMW realisiert. Denkbar ist auch eine kontinuierliche Überwachung des Fahrers bezüglich seiner Fahrtüchtigkeit. Bei drohendem Sekundenschlaf ließen sich dann rechtzeitig Gegenmaßnahmen einleiten.

Weiter geht es dann mit selbstfahrenden Autos. Time-of-Flight-Kameras sind hier einerseits wertvoll, um die Umgebung zu überwachen und beispielsweise Hindernisse oder Gefahren zu erkennen. Nachdem autonome Fahrzeuge aber auch deutlich flexiblere Innenraumkonzepte ermöglichen werden, beispielsweise mit drehbaren Sitzen, ist im Falle eines Unfalls eine präzise Positionsbestimmung der Passagiere wichtig, um die Rückhalte- und Sicherheitssysteme im Auto optimal auszulösen.

Interview mit Infineon

Wir haben auf dem Mobile World Congress mit Martin Gotschlich gesprochen, Director of 3D Imaging bei Infineon – und die einige oben angerissene Themen im Video festgehalten. Viel Spaß mit dem folgenden Videointerview.

Habt Ihr schon AR-Anwendungen mit Tango ausprobiert?

Die besten Samsung-Smartwatches 2024

  Standardversion von 2023 Classic-Version von 2023 Standardversion von 2022 Pro-Version von 2022 Standardversion von 2021 Classic-Version von 2021
 
  Samsung Galaxy Watch 6 Product Image Samsung Galaxy Watch 6 Classic Product Image Samsung Galaxy Watch 5 Product Image Samsung Galaxy Watch 5 Pro Product Image Samsung Galaxy Watch 4 Product Image Samsung Galaxy Watch 4 Classic Product Image
Test
Zum Test: Samsung Galaxy Watch 6
Noch nicht getestet
 
Noch nicht getestet
 
Zum Test: Samsung Galaxy Watch 5 Pro
Zum Test: Samsung Galaxy Watch 4
Noch nicht getestet
 
Zum Angebot*
Zu den Kommentaren (0)
Stefan Möllenhoff

Stefan Möllenhoff
Head of Content Production

Schreibt seit 2004 über Technik und brennt seither für Smartphones, Fotografie, IoT besonders im Smart Home und AI. Ist außerdem ein Koch-Nerd und backt dreimal wöchentlich Pizza im Ooni Koda 16 – macht zum Ausgleich täglich Sport mit mindestens zwei Fitness-Trackern am Körper und ist überzeugt, dass man fast alles selber bauen kann, inklusive Photovoltaik-Anlage und Powerstation.

Zum Autorenprofil
Hat Dir der Artikel gefallen? Jetzt teilen!
Empfohlene Artikel
Neueste Artikel
Push-Benachrichtigungen Nächster Artikel
Keine Kommentare
Neuen Kommentar schreiben:
Alle Änderungen werden gespeichert. Änderungen werden nicht gespeichert!
Neuen Kommentar schreiben:
Alle Änderungen werden gespeichert. Änderungen werden nicht gespeichert!
VG Wort Zählerpixel