Wie Smartphone-Kameras Bilder in 3D erfassen könnten

Anbieter zum Thema

Schneider Digital Josef J. Schneider e.K.

Chaos Software GmbH

XEOMETRIC GmbH

Noch sehen Smartphone-Kameras nur in zwei Dimensionen und nehmen Bilder auf, die flach sind wie eine Zeichnung. Das könnte sich bald ändern.

• Ingenieure der Stanford University ermöglichen es einfachen Kameras, in 3D zu sehen

• Mit einem einfachen Design und einer ausgeklügelten Technik haben die Forschende ein kompaktes optisches Gerät entwickelt.

• Es ermöglicht es praktisch jeder Digitalkamera und somit beispielsweise auch Smartphone-Kameras, Tiefe wahrzunehmen.

Standard-Bildsensoren, wie sie heute in praktisch jedem Smartphone installiert sind, erfassen Lichtintensität und Farbe. Die Smartphone-Kameras, die auf einer handelsüblichen CMOS-Sensortechnologie beruhen, sind von Jahr zu Jahr kleiner und leistungsfähiger geworden. Sie bieten heute eine Auflösung von zehn oder mehr Megapixeln. Aber sie sehen immer noch nur in zwei Dimensionen. So nehmen sie Bilder auf, die flach sind wie eine Zeichnung -- bis jetzt.

Forschende der Stanford University haben einen neuen Ansatz entwickelt, der es normalen Bildsensoren ermöglicht, Licht in drei Dimensionen zu sehen. Das heißt, auch handelsübliche Smartphone-Kameras ließen sich schon bald dazu verwenden, die Entfernung zu Objekten zu messen.

Die technischen Möglichkeiten sind immens. Die Messung der Entfernung zwischen Objekten mit Licht ist derzeit nur mit speziellen und teuren Lidar-Systemen - kurz für "light detection and ranging" - möglich. Wenn Sie schon einmal ein selbstfahrendes Auto herumfahren gesehen haben, erkennen Sie es sofort an den vielen technischen Geräten, die auf dem Dach montiert sind. Das meiste davon ist das Lidar-Crash-Vermeidungssystem des Autos, das mit Hilfe von Lasern die Abstände zwischen Objekten ermittelt.

Lidar mit Megapixel-Auflösung

Lidar ist wie Radar, nur mit Licht statt mit Radiowellen. Indem es einen Laser auf Objekte richtet und das zurückgeworfene Licht misst, kann es feststellen, wie weit ein Objekt entfernt ist, wie schnell es sich bewegt, ob es sich näher oder weiter weg bewegt. Und vor allem kann es berechnen, ob sich die Wege zweier sich bewegender Objekte irgendwann in der Zukunft kreuzen werden.

"Bestehende Lidar-Systeme sind groß und sperrig, aber wenn man eines Tages Lidar-Fähigkeiten in Millionen von autonomen Drohnen oder in leichten Roboterfahrzeugen haben will, müssen sie sehr klein und sehr energieeffizient sein und eine hohe Leistung bieten", erklärt Okan Atalar, Doktorand in Elektrotechnik in Stanford und Erstautor der neuen Veröffentlichung in der Zeitschrift Nature Communications, in der dieses kompakte, energieeffiziente Gerät vorgestellt wird, das für Lidar verwendet werden kann.

Für Ingenieure bietet dieser Fortschritt zwei faszinierende Möglichkeiten. Erstens ließe sich ein Lidar mit Megapixel-Auflösung ermöglichen -- eine Schwelle, die heute noch nicht erreicht wird. Eine höhere Auflösung würde es dem Lidar erlauben, Ziele in größerer Entfernung zu erkennen. Ein autonomes Auto könnte zum Beispiel einen Radfahrer von einem Fußgänger aus größerer Entfernung -- also früher -- unterscheiden. Somit könnte es einen Unfall leichter vermeiden. Zweitens könnte jeder heute verfügbare Bildsensor, einschließlich der Milliarden von Smartphones, mit minimaler zusätzlicher Hardware aussagekräftige 3D-Bilder erfassen.

Das Sehen von Maschinen verändern

Ein Ansatz, um Standardsensoren mit 3D-Bildern auszustatten, besteht darin, eine Lichtquelle (einfach zu realisieren) und einen Modulator (nicht so einfach zu realisieren) hinzuzufügen, der das Licht sehr schnell ein- und ausschaltet, Millionen Mal pro Sekunde. Durch die Messung der Lichtschwankungen können die Ingenieure die Entfernung berechnen. Bestehende Modulatoren können das zwar auch, aber sie benötigen relativ viel Strom. So viel nämlich, dass sie sich für den alltäglichen Gebrauch als völlig unpraktisch erweisen

Die Lösung, die das Stanford-Team, eine Kooperation zwischen dem Laboratory for Integrated Nano-Quantum Systems (LINQS) und dem ArbabianLab, gefunden hat, beruht auf einem Phänomen, das als akustische Resonanz bekannt ist. Das Team baute einen einfachen akustischen Modulator aus einem dünnen Wafer mit Lithiumniobat. Dabei handelt es sich um einem transparenten Kristall, der aufgrund seiner elektrischen, akustischen und optischen Eigenschaften sehr begehrt ist, und der hier mit zwei transparenten Elektroden beschichtet ist.

Piezoelektrischer Effekt nutzbar gemacht

Entscheidend ist, dass Lithiumniobat piezoelektrisch ist. Das heißt, wenn Strom durch die Elektroden geleitet wird, verändert das Kristallgitter, das den Kern seiner atomaren Struktur bildet, seine Form. Es schwingt mit sehr hohen, sehr vorhersehbaren und sehr kontrollierbaren Frequenzen. Dabei moduliert Lithiumniobat das Licht stark -- mit ein paar zusätzlichen Polarisatoren schaltet dieser neue Modulator das Licht mehrere Millionen Mal pro Sekunde ein und aus.

"Darüber hinaus bestimmt die Geometrie der Wafer und der Elektroden die Frequenz der Lichtmodulation, so dass wir die Frequenz fein abstimmen können", sagt Atalar. "Ändert man die Geometrie, ändert sich auch die Frequenz der Modulation".

Durch den piezoelektrischen Effekt wird eine akustische Welle durch den Kristall erzeugt. Sie ändert die Polarisation des Lichts in gewünschter, abstimmbarer und nutzbarer Weise. Dies ist der entscheidende technische Unterschied, der den Erfolg des Teams ermöglichte. Anschließend wird ein Polarisationsfilter sorgfältig nach dem Modulator platziert, der diese Drehung in eine Intensitätsmodulation umwandelt -- das Licht wird heller und dunkler -- und das Licht Millionen Mal pro Sekunde ein- und ausschaltet.

"Es gibt zwar auch andere Möglichkeiten, das Licht ein- und auszuschalten", sagt Atalar, "aber dieser akustische Ansatz ist vorzuziehen, weil er extrem energieeffizient ist."

Praktische Ergebnisse

Das Design des Modulators ist einfach und lässt sich in ein System integrieren, das handelsübliche Kameras verwendet, zum Beispiel Smartphone-Kameras und digitale Spiegelreflexkameras. Atalar und sein Berater Amin Arbabian, außerordentlicher Professor für Elektrotechnik und Hauptautor des Projekts, sind der Meinung, dass dies die Grundlage für eine neue Art von kompaktem, kostengünstigem und energieeffizientem Lidar -- "Standard-CMOS-Lidar", wie sie es nennen, sein könnte. Dieser ließe sich in Drohnen, außerirdischen Rovern und anderen Anwendungen einsetzen.

Die Auswirkungen des vorgeschlagenen Modulators könnten enorm sein. Denn er hätte das Potenzial, jedem Bildsensor die fehlende 3D-Dimension hinzuzufügen, sagen die Forschenden. Um dies zu beweisen, baute das Team einen Prototyp eines Lidar-Systems auf einem Labortisch. Dabei diente eine handelsübliche Digitalkamera als Empfänger. Die Autoren berichten, dass ihr Prototyp Tiefenkarten mit einer Auflösung im Megapixel-Bereich aufnahm und dabei nur wenig Energie für den Betrieb des optischen Modulators benötigte

Lidar für Smartphone-Kameras

Mit zusätzlichen Verbesserungen konnte das Team den Energieverbrauch noch weiter senken, und zwar um mindestens das Zehnfache des in der Studie genannten Wertes. Es ist zudem davon auszugehen, dass eine mehrere hundert Mal höhere Energiereduzierung möglich ist. Wenn dies gelingt, könnte die Zukunft von Lidar in kleinem Maßstab mit Standard-Bildsensoren -- und Smartphone-Kameras -- zur Realität werden.

Zu den weiteren Stanford-Autoren gehören Amir H. Safavi-Naeini, außerordentlicher Professor für angewandte Physik, und Raphael Van Laer, Postdoktorand.

Bild oben: Der vom Forschungsteam im Labor gebaute Prototyp eines Lidar-Systems. Mit einer handelsüblichen Digitalkamera erzeugt es Tiefenkarten in Megapixel-Auflösung. (Bild: Andrew Brodhead)

Weitere Informationen: https://www.nature.com/articles/s41467-022-29204-9