MPEG glTF 2.0: neue Erweiterung für fotorealistische, animierbare Avatare
Neben dem Fraunhofer HHI waren auch andere Unternehmen wie Qualcomm, Nokia, Interdigital, Intel, TNO, Sony, Philips und Xiaomi mit einzelnen Beiträgen aktiv in den Standardisierungsprozess eingebunden. Der glTF-Standard selbst ist weit verbreitet und wurde ursprünglich von der Khronos Group für die Beschreibung dreidimensionaler Modelle und Szenen entwickelt. Die Khronos Group ist ein Industriekonsortium von über 150 branchenführenden Unternehmen. Deren Aufgabe besteht in der Entwicklung von „fortschrittlichen, lizenzfreien Interoperabilitätsstandards für 3D-Grafik, Augmented und Virtual Reality, parallele Programmierung, Vision Acceleration und Maschinelles Lernen“. Die neue MPEG-Erweiterung baut auf der glTF-Version 2.0 auf und erlaubt es unter anderem Videotexturen, animierte Meshes und räumliches Audio in glTF zu integrieren. Durch diese Neuerungen lassen sich nun auch volumetrische Videos mit dem glTF-Format an Endgeräte übertragen.
Ernst Grube – Das Vermächtnis - realisiert in VR mit Volumetric Video Technologie
Teil der MPEG-Erweiterung ist die vom Fraunhofer HHI entwickelte Mesh-Linking-Technologie. Diese sorgt für einen hohen Realismus von volumetrischen Videos um diese mit der Animierbarkeit von Computergrafikmodellen zu kombinieren. Laut dem HHI lassen sich dadurch nun fotorealistische virtuelle Personen in Mixed-Reality-Szenen integrieren, um mit dem Nutzenden zu interagieren. Ein fotorealistischer Avatar, also eine Art Hologramm kann dadurch jetzt aktiv den Blickkontakt halten. Bisher funktionierte das nur mit Computergrafikmodellen, aber nicht mit den deutlich realistischer aussehenden, aber komplexeren volumetrischen Videoinhalten. Wie das Ganze zustande kommt, erklärt das HHI folgendermaßen: „Zunächst wird die Geometrie des Computermodells an den volumetrischen Scan angepasst. Nach diesem Anpassungsprozess wird die Übereinstimmung zwischen den beiden Formaten berechnet, so dass die Animationen des Computergrafikmodells auf den volumetrischen Scan übertragen werden können“. Mit der neuen MPEG-Erweiterung ist das glTF 2.0-Format nun also in der Lage, fotorealistische volumetrische Videos mit der Flexibilität eines Computergrafikmodells zu liefern. Mit den entsprechenden Informationen kann dann ein kompatibler glTF-Player das volumetrische Video frei animieren.
Mit der neuen MPEG glTF 2.0 sollen realistische Interaktionen mit digitalen Avataren machbar werden. Das Fraunhofer HHI hat an der Entwicklung der neuen Technologie mitgearbeitet und die dafür nötige Mesh-Linking-Technologie konzipiert. (Bild: iStock via Fraunhofer HHI)
Den „Final Draft Industrial Standard“ (FDIS) des „Scene Description Standard“ hat MPEG bereits veröffentlicht. Damit ist der Standard dann technisch fertig gestellt und muss nur noch von den führenden Standardisierungsorganisationen ISO, dem weltweiten Zusammenschluss der nationalen Standardisierungsorganisationen, und IEC, der Internationalen Elektrotechnischen Kommission, formal ratifiziert werden. In 2022 will sich das Fraunhofer HHI dann nach eigener Aussage darauf konzentrieren, die MPEG-Erweiterung in Richtung Interaktivität für immersive Szenen weiterzuentwickeln. Es soll dabei bereits eine Live-Demonstration geben, die das Potenzial der neu standardisierten Technologie aufzeigt.
VIDEOAKTIV 2/2022: Die brandneue VIDEOAKTIV 2/2022 lässt sich ab sofort als eMagazin kaufen und in der Print-Variante versandkostenfrei bestellen. Im Heft lesen Sie die Testberichte zur DJI Action 2, Air 2S sowie der FujFilm X-T30 II und der Sony Alpha 7IV. Darüber hinaus standen das neue MacBook Pro 1 Max, Tascams Mobilrecorder Portacapture X8 sowie das Adobe Premiere Elements und das Corel Pinnacle Studio 25 auf dem Prüfstand für das neue Heft. Auch das Praxis-Kapitel weiß wieder mit vielen Tests, Ratgebern und Workshops zu gefallen, etwa der große Praxitest zu lichtstarken MFT-Objektiven sowie der Ratgeber zum Filmen mit der Kamera-Automatik.
Testprotokoll DJI Ronin 4D: Vollformat-Gimbal-Kamera
Newsübersicht: Präsentation
Link zum Hersteller: Fraunhofer HHI - MPEG glTF 2.0
