Navigation in der 3D-Szenenrekonstruktion: NeRF und Photogrammetrie

In der sich ständig weiterentwickelnden Landschaft der 3D-Szenenrekonstruktion ragen Neural Radiance Fields (NeRF) und die Photogrammetrie als Schlüsseltechnologien heraus. Die Photogrammetrie, deren Wurzeln bis in die Mitte des 19. Jahrhunderts zurückreichen, hat sich erheblich weiterentwickelt, wobei in den letzten Jahrzehnten zahlreiche leicht zugängliche Werkzeuge entstanden sind. Im Gegensatz dazu ist NeRF ein neuerer Ansatz, der durch die Veröffentlichung von NVIDIA Instant NeRF im Jahr 2022 einer breiten Anwenderbasis zugänglich gemacht wurde und eine sofort einsetzbare Lösung bietet.

Dieser Artikel hebt die wichtigsten Unterschiede und Gemeinsamkeiten bei der Datensatz-Erstellung, Bildausrichtung und Verarbeitung hervor. Außerdem werden die praktischen Anwendungen dieser Technologien in einer Produktionspipeline aufgezeigt. Im Rahmen unserer Forschung nutzen wir das Wissen aus dem Vergleich von Photogrammetrie und NeRF, um deren Stärken für die 3D-Szenenrekonstruktion bestmöglich einzusetzen.

Vergleich der Einrichtungsprozesse für Photogrammetrie und NeRF

Erstellung des Datensatzes

Beim Erfassen der Daten folgen sowohl NeRF (Neural Radiance Fields) als auch die Photogrammetrie ähnlichen Prinzipien und stehen vor vergleichbaren Herausforderungen. Die Qualität und Schärfe der Bilder sind von höchster Bedeutung. Das bedeutet, dass die richtige Objektivwahl, die Verwendung manuellen Fokus und das Vermeiden digitaler Stabilisierung essenziell sind. Für die bestmögliche Bildqualität wird empfohlen, beim Aufnehmen von Bildern auf Fischaugenobjektive zu verzichten. Es ist bemerkenswert, dass die Schärfe der Fotos oder Videos ein entscheidenderer Faktor ist als deren Auflösung.

Um Konsistenz zu gewährleisten und die Bildqualität zu verbessern, ist es ratsam, bei der Aufnahme von Fotos und Videos Gimbals einzusetzen. Und nochmals: Die Verwendung digitaler Bildstabilisierung sollte unbedingt vermieden werden, da sie das optische Zentrum und die Brennweite der Kamera verfälschen kann.

Ausrichtung der Bilder

Der Prozess der anfänglichen Ausrichtung der Bilder bildet die Grundlage sowohl für NeRF als auch für die Photogrammetrie, wobei Erfahrung eine entscheidende Rolle bei der erfolgreichen Durchführung dieser Phase spielt.

Beim Arbeiten mit der Kamera ist es ratsam, sich zusätzliches Wissen über die Feinheiten der Bildaufnahme anzueignen – etwa die Wahl des richtigen Objektivs und der passenden Brennweite –, da dies die Erfolgsquote erheblich steigert.

Ein weiterer praktischer Ratschlag: Beim Aufnehmen kleiner Objekte sollte man beim Fotografieren oder Filmen in Schleifen besser den manuellen Fokus einstellen. Dieser Ansatz liefert konsistentere Ergebnisse im Vergleich zur Verwendung des Autofokus.

Verarbeitung

Im Hinblick auf die 3D-Rekonstruktionsverarbeitung ist NeRF in der Regel schneller als die Photogrammetrie, wird jedoch durch VRAM-Beschränkungen (Video Random Access Memory) eingeschränkt – selbst auf modernen GPUs. Diese VRAM-Beschränkungen begrenzen den Maßstab und die Detailgenauigkeit rekonstruierbarer Modelle im Vergleich zur Photogrammetrie. Die Photogrammetrie hingegen nutzt RAM (Random Access Memory), das leichter verfügbar und kostengünstiger ist. Verbrauchergeräte unterstützen über 100 GB RAM, womit sich Tausende von Bildern verarbeiten lassen. Im Gegensatz dazu sind selbst GPUs wie RTX 3090 oder RTX 4090 auf 24 GB VRAM begrenzt, was nur für einige Hundert Bilder ausreicht.

Nichtsdestotrotz überzeugt der volumetrische Ansatz von NeRF insbesondere bei der Verarbeitung dünner, komplexer Objekte sowie transparenter oder reflektierender Oberflächen – also in Bereichen, in denen die Photogrammetrie an ihre Grenzen stößt. Dies ist auf die Fähigkeit von NeRF zurückzuführen, den Dichteschwellenwert anzupassen und damit eine differenzierte Geometrieverarbeitung zu ermöglichen.

Nach einer gründlichen Analyse jeder Technik haben wir deren jeweilige Stärken und Schwächen identifiziert. Auf dieser Grundlage können wir diese beiden Technologien nicht nur vergleichen, sondern ihre Vorteile nutzen und in unseren Prozess der 3D-Szenenrekonstruktion integrieren.

NeRF oder Photogrammetrie – oder beides?

Reifegrad und Workflow-Integration

Der aktuelle Entwicklungsstand von NeRF-Tools steht im Kontrast zur ausgereiften Photogrammetrie und führt zu Integrationsherausforderungen in bestehenden Workflows.

Unsere Experimente zur Szenenrekonstruktion mit beiden Technologien haben jedoch vielversprechende Ergebnisse gezeigt – insbesondere bei der Kombination von NeRF-Geometrie mit Photogrammetrie. In unserem Beispiel hatte der photogrammetrische Ansatz Schwierigkeiten, feine Strukturen darzustellen, während NeRF dies fehlerfrei meisterte.

Durch die Integration des von NeRF erzeugten Modells und dessen Anpassung an die Weltposition innerhalb der photogrammetrischen Szene sowie durch die Projektion von Texturen, die nicht nur auf Vertex-Farben beschränkt sind, konnten wir das Beste aus beiden Welten erreichen.

Erkenntnisse und Experimente

In unseren Experimenten haben wir festgestellt, dass die Fähigkeit von NeRF, feine Strukturen zu verarbeiten, von außerordentlichem Nutzen ist. Dank dieser Eigenschaft konnten wir komplexe Objekte erfolgreich rekonstruieren und anschließend in Photogrammetrie-Software zur verbesserten Texturierung reintegrieren. Das Endergebnis war ein detailliertes und visuell präzises 3D-Modell, das das Potenzial der Kombination dieser Technologien verdeutlicht.

Es gibt jedoch auch einige Herausforderungen, insbesondere die Einschränkungen von NeRF im Hinblick auf die Hardwareanforderungen sowie den noch jungen Entwicklungsstand der Tools. Die Integration von NeRF in bestehende Workflows erfordert sorgfältige Überlegungen – vor allem im Hinblick auf die VRAM-Beschränkungen, die den Maßstab und die Detailtiefe der Modelle einschränken können.

Fazit

Die Integration von NeRF und Photogrammetrie eröffnet neue Wege für innovative Lösungen in der 3D-Szenenrekonstruktion und deren Anwendung in verschiedenen Geschäftsbereichen. Auch wenn jede Technologie ihre Grenzen hat, zeigt die kombinierte Nutzung das Potenzial, individuelle Herausforderungen zu überwinden und detaillierte, präzise und texturierte Modelle zu erzeugen. Mit der Weiterentwicklung von NeRF und fortschrittlicherer Hardware sind die Möglichkeiten für weitere Integrationen und erweiterte Anwendungen im 3D-Modelling nahezu grenzenlos.

Bei tsukat haben wir jede dieser Technologien bereits praktisch erprobt. Unsere Ingenieure entwickelten insbesondere ein maßgeschneidertes Framework zur 3D-Gesichtsrekonstruktion, das für verschiedene Branchen geeignet ist – von Einzelhandel bis Gesundheitswesen. Dank der Forschung und der gründlichen Arbeit unserer RnD-Abteilung ist diese Technologie schnell, präzise und für jede Person mit einem Mobiltelefon zugänglich. Unter den Ansätzen, die zu solchen hochwertigen Ergebnissen führten, befand sich auch die Photogrammetrie. Mehr zu dieser Arbeit finden Sie in unserem White Paper zur 3D-Gesichtsrekonstruktion.

Als XR-Entwicklungsunternehmen ist es für uns entscheidend, bei innovativen Technologien wie der 3D-Szenenrekonstruktion stets an vorderster Front zu stehen. Die tiefgreifende technische Expertise unserer Ingenieure ermöglicht es uns, pragmatische Softwarelösungen zu liefern, die Entscheidungsprozesse verbessern, die Kundenbindung fördern und die gesamte Unternehmensleistung optimieren.

Zusätzliche Informationen über Photogrammetrie und NeRF

Was ist Photogrammetrie?

Die Photogrammetrie ist eine Methode, bei der zahlreiche 2D-Fotografien von realen Objekten oder Szenen aus verschiedenen Blickwinkeln aufgenommen werden, um eine Punktwolke zu erzeugen. Durch die Überlagerung dieser Aufnahmen lässt sich eine dreidimensionale Szene oder ein Objekt zusammensetzen. Der Prozess der Umwandlung von 2D-Bildern in 3D umfasst die Identifizierung gemeinsamer Merkmale in den Bildern – beispielsweise Punkte – und die Anwendung von Triangulationstechniken, um die 3D-Position dieser Merkmale zu bestimmen.

Die Photogrammetrie erweist sich als wertvolles Werkzeug für eine Vielzahl von Berufen, darunter Ingenieure, Designer und Architekten. Darüber hinaus kann auch die Museumsbranche diese Technologie nutzen, um Kulturerbestätten zu bewahren und den Zugang zu potenziellen Ausstellungen zu erweitern, indem Kurator*innen ihre Sammlungen virtuell präsentieren. Doch wie jede Technologie hat auch sie ihre Grenzen: Im Gegensatz zu NeRF arbeitet die Photogrammetrie wesentlich langsamer und kommt mit feinen Details von Objekten nur unzureichend zurecht.

Was ist NeRF?

NeRF, auch bekannt als Neural Radiance Field, nutzt neuronale Netze, um realistische 3D-Szenen zu modellieren und zu erzeugen, indem es eine gegebene Menge an 2D-Bildern verarbeitet. Anders als bei der Photogrammetrie ist für die NeRF-Verarbeitung nicht jedes einzelne Bild erforderlich, um präzise 3D-Modelle zu erstellen. NeRF setzt KI ein, um vollständige und akkurate Szenen zu generieren, indem fehlende Informationen ergänzt und vorgeschlagene Bildbereiche zusammengeführt werden. Dieses „Auffüllen von Lücken“ beschleunigt die Erstellung von 3D-Bildern erheblich und trägt maßgeblich zur schnellen Verbreitung und Popularität dieser Technik bei.

NeRF hat bereits in verschiedenen Branchen Anwendung gefunden und gilt als besonders vorteilhaft beim Arbeiten mit feinen und reflektierenden Objekten. Dennoch handelt es sich bei NeRF um eine relativ neue Technologie, die noch weitgehend unerforschtes Terrain darstellt und mehrere bemerkenswerte Einschränkungen mit sich bringt.