Gaussian Splatting setzt anders als klassische Rendertechniken auf Punktwolken statt Polygonen und Texturen. Die einzelnen Punkte werden Splats genannt und sind "Kleckse" mit definierter Position, Ausdehnung, Farbe und Transparenz. In verdichteter Form ergeben diese visuellen Atome erstaunlich echt wirkende Objekte und Umgebungen, gerade bei komplexen Oberflächen, glänzenden Materialien oder feinen Details.
Meta Hyperscape
Auch Meta experimentiert bereits mit Gaussian Splatting speziell für die eigene VR-Plattform. Eine offizielle Demo führt die "Hyperscape" genannte Technologie vor.
Zur Auswahl stehen sechs Umgebungen, von denen fünf Werkstätten und Ateliers bekannter Künstlerinnen und Künstler zeigen. Die digitalen Repliken sind dutzende Quadratmeter groß und zeichnen sich durch eine enorme Fülle an Artefakten, Werkzeugen und Details aus. Damit demonstrieren sie eindrucksvoll die Stärken der Rendertechnik. Nutzer können sich physisch durch die Umgebungen bewegen oder teleportieren. Für das Einfangen dieser Orte hat Meta herkömmliche Smartphones verwendet.
Eine Besonderheit von Hyperscape ist der Einsatz von Cloud-Rendering und -Streaming. Dadurch wird die Rechenlast auf der VR-Brille reduziert und die Datenmenge begrenzt. Eine schnelle Internetverbindung und stabiles WLAN sind daher Voraussetzung für eine hochwertige VR-Erfahrung.
Meta stellte Hyperscape im Herbst 2024 auf der Meta Connect vor und deutete an, dass es in Zukunft möglich sein werde, eigene Scans hochzuladen. Um die Technologie wurde es seither jedoch still.
Die App mit dem sperrigen Namen "Hyperspace-Demo in Meta Horizon" ist im Horizon Store verfügbar.
Mit der Meta Quest 3 ist es mit der App Hyperscape-Demo möglich Räume zu scannen. Das fühlt sich an, als würde man persönlich an einen fernen Ort versetzt, um fremde Räume mit großem Detailreichtum zu erkunden.
Into the Scaniverse
Mit dieser VR-App des ehemaligen Pokémon-Go-Entwicklers Niantic lassen sich tausende Szenen aus aller Welt ansehen. Into the Scaniverse bietet zudem die bislang einfachste Möglichkeit, selbst erstellte Splats mit Quest 3 zu betrachten.
Die riesige Splats-Bibliothek entstand auf Basis von Niantics Smartphone-App Scaniverse, mit der Smartphone-Nutzer reale Orte im Handumdrehen erfassen und in Splats umwandeln können. Into the Scaniverse greift auf diese Community-Splats zurück und reduziert den Detailgrad, um eine flüssige VR-Darstellung sicherzustellen. Da sich die meisten Splats auf ein zentrales Objekt konzentrieren, ist das Erkundungspotenzial entsprechend begrenzt. Trotzdem lohnt es sich, Into the Scaniverse auszuprobieren, zumal die Anwendung einen besonders einfachen Einstieg in die Welt der Gaussian Splats bietet.
Into the Scaniverse lässt sich mit der Smartphone-App verknüpfen, sodass sich eigene Splats mit Quest 3 in VR betrachten lassen. Wer eigene Splats erstellen und ausprobieren möchte, findet derzeit keinen einfacheren Weg.
Into the Scaniverse ist als VR-App im Horizon Store verfügbar oder als WebXR-Erfahrung direkt im Browser der Quest 3 abrufbar. Die Smartphone-App Scaniverse ist kostenlos für Android und iOS erhältlich.
Gracia
Die meisten der heutigen Splats sind Momentaufnahmen und vollkommen statisch. Das Start-up Gracia AI geht einen Schritt weiter und strebt volumetrische Video-Splats an, also die Darstellung frei begehbarer bewegter Szenen. Die technische Herausforderung steigt damit um ein Vielfaches, da mit mehreren Kameras gleichzeitig aufgezeichnet wird und deutlich größere Datenmengen verarbeitet werden müssen.
Dennoch hat Gracia bereits Techdemos für volumetrische Videos im Angebot, die für das Betrachten mit Quest 3 optimiert sind. Das neueste Beispiel ist eine zweiminütige Performance des US-Rappers Big Sean. Nutzer können das lebensechte Hologramm des Künstlers in die eigene Umgebung holen, sich frei darum bewegen und es aus allen Blickwinkeln betrachten.
Big Sean performt per Passthrough-Modus in der eigenen Wohnung.
(Bild: tobe / Gracia AI)
Das genannte Beispiel verdeutlicht ein ungelöstes Problem von Video-Splats: den enormen Speicherbedarf. So erfordert die gerade einmal 2 Minuten und 20 Sekunden lange Aufnahme einen Download von über 13 Gigabyte. In der VR-App stehen alternativ drei weitere, wesentlich kürzere Videos dieser Art zur Verfügung, ergänzt durch eine Auswahl statischer Splats.
Gracia ist als VR-App im Horizon Store verfügbar. Eine wesentlich bessere Qualität, mehr Inhalte sowie die Möglichkeit, eigene Splats hochzuladen und anzusehen, bietet Gracia auf Steam. Diese Version setzt jedoch einen PC voraus.
Supersplat
Supersplat ist eine rasch wachsende Plattform für Gaussian Splats, die gleich mehrere Funktionen vereint. Sie bietet einen webbasierten Editor, der das einfache Bearbeiten, Optimieren und Teilen von Splats ermöglicht, sowie einen Viewer, der die Darstellung der Splats auf einer Vielzahl von Geräten, einschließlich VR-Brillen, ermöglicht.
Die VR-Unterstützung erwies sich in unserem Test als mangelhaft. Viele der Splats überfordern Quest 3, zudem sind Navigation und Bedienung unbefriedigend gelöst. Wir empfehlen, die Splats daher im Stehen und Gehen zu betrachten und die Datenbank gezielt nach kleineren Splats zu filtern – idealerweise nach solchen, die weniger als 10 Megabyte groß sind und sich auf einzelne Objekte konzentrieren. Dass wir Supersplat dennoch in diese Liste aufgenommen haben, liegt in der Erwartung, dass die VR-Kompatibilität in naher Zukunft verbessert und weiter ausgebaut wird.
Trotz dieser Kinderkrankheiten entfaltet das Stöbern nach eindrucksvollen Splats schon jetzt eine gewisse Sogwirkung. Besonders angetan haben es uns die Splats verschiedener Gerichte. Etwa dasjenige eines Hot Chicken Sandwich, das riesengroß mitten im Wohnzimmer erscheint und damit eine ungewohnte neue Sicht auf Speisen wie diese eröffnet.
Das überdimensionierte Splat eines Chicken-Sandwiches. Seine räumliche Wirkung lässt sich auf einem Bild kaum erfassen.
(Bild: tobe / Tipatat Chennavasin)
Supersplat ist ein idealer Einstiegspunkt für alle, die tiefer in die Welt der Gaussian Splats eintauchen möchten, indem sie Scanning-Apps wie Scaniverse, Luma oder Polycam miteinander vergleichen und eigene Splats auf der Plattform bearbeiten und veröffentlichen.
Den Abschluss bildet eine Web-Anwendung, die KI-generierte Splat-Umgebungen rendert. Die teils realistischen, teils fantasievollen Szenen zeigen, was möglich ist, wenn man Gaussian Splats mit generativer KI kombiniert. Eine weitere Besonderheit von Lofi Worlds: Die Splats bewegen sich dynamisch, etwa um den Eindruck von Blättern im Wind oder Wasserströmungen zu erzeugen, und reagieren sogar auf Berührungen.
Eine KI-generierte Kulisse aus Lofi Worlds. Im VR-Headset wirken die 3D-Umgebungen ein wenig schärfer als auf dem Bild.
(Bild: World Labs)
Die Bewegungsfreiheit ist im Vergleich zu den anderen Apps und Plattformen allerdings eingeschränkt: Die Szenen wechseln schnell, und in der Regel sind nur wenige Schritte in jede Richtung möglich, bevor visuelle Artefakte sichtbar werden.
Lofi Worlds ist als WebXR-Erfahrung direkt im Browser der Quest 3 aufrufbar und kann optional ohne VR-Brille betrachtet werden.
No comments to display
No comments to display