NeRF 3D: Wie man fotorealistische Umgebungen mit KI erstellt.

Mit der Zusammenarbeit von Javier Cantón.

NeRF 3D: Was ist es und wie funktioniert es

Neural Radiance Field (NeRF) ist eine Technologie, die die Darstellung von 3D-Räumen revolutioniert. Die Möglichkeit, fotorealistische Umgebungen aus verschiedenen Blickwinkeln mit hoher Datenspeicherung zu visualisieren, eröffnet neue Möglichkeiten für verschiedene Industriebereiche, von digitalen Zwillingen bis hin zur schnelleren Erstellung von Inhalten für den Medienbereich.

Die Szenen können als trianguliertes Gitter wiedergegeben werden. Für jeden sichtbaren Teil wird ein Shader verwendet, der die Farbinklusion des Ausgabepixels bestimmt. Nach der Darstellung des Gitters als Gitter wird der mehrschichtige Lernalgorithmus MLP verwendet, um die Merkmale und Opazität jedes Punktes wiederherzustellen. Es gibt neue Algorithmen, die die Verarbeitungsleistung dieser komplexen Szenen verbessern.

Puddles are fun… jump in! Once again having fun with reflections and NeRF. Trained and rendered using NeRFStudio running nerfacto – @nerfstudioteam.⁣⁣
⁣⁣#NeRF #nerfstudio #nerfacto #neuralrendering #mirrorworld #montreal pic.twitter.com/zjf5IIjKbg

— Hugues Bruyère (@smallfly) November 27, 2022

NeRF kann erfolgreich auf verschiedenen Geräten wiedergegeben werden, wie das folgende Bild aus dem Paper MobileNeRF zeigt:

Bisher wurde für ein ähnliches Ergebnis die Technologie der Fotogrammetrie verwendet: Durch die Verwendung vieler Bilder wurde eine dreidimensionale Darstellung mit mehr oder weniger Detailgrad erzeugt. Diese Technologie wurde durch den Einsatz von künstlicher Intelligenz überholt, auf die sich NeRF stützt. Der Vorteil von NeRF besteht darin, dass es die Elemente einer Szene volumetrisch erfassen kann. Im Gegensatz zur Fotogrammetrie ist es in der Lage, transparente oder metallische Objekte mit Reflexionen korrekt darzustellen. Dies erleichtert die Visualisierung von Produkten, die aufgrund der Verwendung von transparentem Kunststoff oder reflektierendem Metallschutzschicht Schwierigkeiten haben, von der Fotogrammetrie angemessen erfasst zu werden.
Das Research-Team von Plain Concepts integriert diese Technologie bereits in Evergine, unseren industriellen 3D-Grafikmotor. Das Ergebnis kann wie folgt eingesehen werden:

In einem anderen Beispiel hat einer unserer Kollegen zwei Bilder seines Hinterhofs verwendet, um ihn nachzubilden und einen virtuellen Besuch zu simulieren. Hierbei wurden Azure Machine Learning, COLMAP (ein kostenloses Tool, das auf GitHub heruntergeladen werden kann und Bildersammlungen zur Erstellung von 3D-Objekten zusammenstellt), Nerfstudio (eine API zur Vereinfachung des NeRF-Designprozesses) und mip-NeRF 360-Modelle verwendet, die für Szenen geeignet sind, in denen sich die ‘Kamera’ um 360 Grad drehen muss. Das Ergebnis ist ein statisches Bild, das von einer Drohne oder einer Kamera auf einem Kran aufgenommen worden sein könnte.

Instant NeRF

Basierend auf NeRF hat NVIDIA Instant NeRF entwickelt, das mithilfe künstlicher Intelligenz Fotos in 3D-Szenen umwandelt. Wie im folgenden Video zu sehen ist, ist es mit vier Fotos und einem neuronalen Netzwerk möglich, ein statisches 360-Grad-Bild zu erstellen.

Der Einsatz von künstlicher Intelligenz ist entscheidend, um eine Szene zu erzeugen, die an Google Street View erinnert. Wie im NVIDIA-Video zu hören ist, “verwandelt KI 2D-Fotos in 3D-Szenen in Sekundenschnelle”.

Anwendungen von NeRF für Ihr Unternehmen

Digitale Zwillinge in der Immobilienbranche und in Smart Cities

Einer der möglichen Anwendungsbereiche von NeRF ist die Verbesserung von digitalen Zwillingen für den Gebäudebau oder die Entwicklung von Smart Cities. Es ist nun möglich, detailliertere Reproduktionen zu erstellen, die bei Entscheidungen helfen.

Medien

In der Medienbranche, insbesondere im Bereich der Nachrichtenberichterstattung, könnten Reporter Szenarien einer Katastrophe, eines Anschlags oder einer Preisverleihung mit Hilfe von Fotos und NeRF nachbilden, um dann mithilfe von immersiver Technologie zu erzählen, was dort passiert ist. Darüber hinaus sind Produktionsunternehmen in anderen Bereichen, wie Unterhaltungssendungen, an NeRF interessiert, um sehr realistische Sets innerhalb weniger Stunden zu generieren, anstelle der aktuellen 3D-Reproduktionen. Dies senkt die Kosten für den Bühnenbau und ermöglicht uns gleichzeitig, ein deutlich reichhaltigeres audiovisuelles Fernsehen zu haben, das vor einigen Jahrzehnten undenkbar war.

Anwendungen der Mixed Reality im Innendesign

Neben der Nachbildung realer Szenen nur mit Fotos ermöglicht NeRF auch die Einbeziehung virtueller Objekte in diese Räume. Dies trägt zur Verbesserung der Erfahrung in Mixed Reality-Anwendungen bei. Wenn Ihr Unternehmen beispielsweise Möbel oder Dekorationsobjekte verkauft, könnten Sie eine Anwendung entwickeln, bei der Benutzer Fotos ihrer Räume hochladen, ein Video erstellen und Rekonstruktionen Ihrer Produkte hinzufügen, um zu überprüfen, ob sie zur Wandfarbe, zur Raumgröße oder zu anderen Möbeln passen, um eine Kaufentscheidung zu treffen.
Bei Plain Concepts arbeiten wir daran, dass ein trainiertes NeRF-Modell in Echtzeit visualisiert werden kann und das Publikum sich im Raum bewegen kann.

Weitere Anwendungen

Derzeit wird auch an der Entwicklung dynamischer NeRF-Techniken gearbeitet, die dreidimensionale Videos aus Fotos generieren. Mit einer Virtual-Reality-Brille könnten wir uns in einem durch diese Bilder rekonstruierten realen Raum bewegen. Es könnte auch dazu dienen, die Holoportation voranzutreiben.
NeRF kann mit Point Cloud als Schicht integriert werden, die über diese Punktwolke gelegt wird und präzisere Arbeiten wie Raumvermessungen ermöglicht. Daher unterstützt diese neue Technologie auch den Prozess des RealityCapture.

Wenn Sie die Möglichkeiten von NeRF und Instant NeRF für Ihr Unternehmen weiter erkunden möchten, stehen wir Ihnen zur Verfügung.