YouTube Instagram Vimeo RSS VIDEOAKTIV

MPEG glTF 2.0: neue Erweiterung fĂŒr fotorealistische, animierbare Avatare

Nach zwei Jahren Standardisierungsarbeit gibt die Moving Picture Experts Group (MPEG) bekannt, die Arbeit zur „Scene Description“ mit einer Erweiterung des „Graphics Language Transmission Format“ (glTF) abgeschlossen zu haben. Die neue Erweiterung realisiert erstmals volumetrisches Video und Audio, um diese in eine immersive Szene zu integrieren. Dabei war auch das deutsche Fraunhofer Heinrich-Hertz-Institut (HHI) maßgeblich an der Forschung und Entwicklung des neuen Standards beteiligt.

Neben dem Fraunhofer HHI waren auch andere Unternehmen wie Qualcomm, Nokia, Interdigital, Intel, TNO, Sony, Philips und Xiaomi mit einzelnen BeitrĂ€gen aktiv in den Standardisierungsprozess eingebunden. Der glTF-Standard selbst ist weit verbreitet und wurde ursprĂŒnglich von der Khronos Group fĂŒr die Beschreibung dreidimensionaler Modelle und Szenen entwickelt. Die Khronos Group ist ein Industriekonsortium von ĂŒber 150 branchenfĂŒhrenden Unternehmen. Deren Aufgabe besteht in der Entwicklung von „fortschrittlichen, lizenzfreien InteroperabilitĂ€tsstandards fĂŒr 3D-Grafik, Augmented und Virtual Reality, parallele Programmierung, Vision Acceleration und Maschinelles Lernen“. Die neue MPEG-Erweiterung baut auf der glTF-Version 2.0 auf und erlaubt es unter anderem Videotexturen, animierte Meshes und rĂ€umliches Audio in glTF zu integrieren. Durch diese Neuerungen lassen sich nun auch volumetrische Videos mit dem glTF-Format an EndgerĂ€te ĂŒbertragen.

Ernst Grube – Das VermĂ€chtnis - realisiert in VR mit Volumetric Video Technologie

Teil der MPEG-Erweiterung ist die vom Fraunhofer HHI entwickelte Mesh-Linking-Technologie. Diese sorgt fĂŒr einen hohen Realismus von volumetrischen Videos um diese mit der Animierbarkeit von Computergrafikmodellen zu kombinieren. Laut dem HHI lassen sich dadurch nun fotorealistische virtuelle Personen in Mixed-Reality-Szenen integrieren, um mit dem Nutzenden zu interagieren. Ein fotorealistischer Avatar, also eine Art Hologramm kann dadurch jetzt aktiv den Blickkontakt halten. Bisher funktionierte das nur mit Computergrafikmodellen, aber nicht mit den deutlich realistischer aussehenden, aber komplexeren volumetrischen Videoinhalten. Wie das Ganze zustande kommt, erklĂ€rt das HHI folgendermaßen: „ZunĂ€chst wird die Geometrie des Computermodells an den volumetrischen Scan angepasst. Nach diesem Anpassungsprozess wird die Übereinstimmung zwischen den beiden Formaten berechnet, so dass die Animationen des Computergrafikmodells auf den volumetrischen Scan ĂŒbertragen werden können“. Mit der neuen MPEG-Erweiterung ist das glTF 2.0-Format nun also in der Lage, fotorealistische volumetrische Videos mit der FlexibilitĂ€t eines Computergrafikmodells zu liefern. Mit den entsprechenden Informationen kann dann ein kompatibler glTF-Player das volumetrische Video frei animieren.

2819 istock.comImaginima Ranta Images edit Fraunhofer HHI web

Mit der neuen MPEG glTF 2.0 sollen realistische Interaktionen mit digitalen Avataren machbar werden. Das Fraunhofer HHI hat an der Entwicklung der neuen Technologie mitgearbeitet und die dafĂŒr nötige Mesh-Linking-Technologie konzipiert. (Bild: iStock via Fraunhofer HHI)

Den „Final Draft Industrial Standard“ (FDIS) des „Scene Description Standard“ hat MPEG bereits veröffentlicht. Damit ist der Standard dann technisch fertig gestellt und muss nur noch von den fĂŒhrenden Standardisierungsorganisationen ISO, dem weltweiten Zusammenschluss der nationalen Standardisierungsorganisationen, und IEC, der Internationalen Elektrotechnischen Kommission, formal ratifiziert werden. In 2022 will sich das Fraunhofer HHI dann nach eigener Aussage darauf konzentrieren, die MPEG-Erweiterung in Richtung InteraktivitĂ€t fĂŒr immersive Szenen weiterzuentwickeln. Es soll dabei bereits eine Live-Demonstration geben, die das Potenzial der neu standardisierten Technologie aufzeigt.

videoaktiv heft 0222 news gr

VIDEOAKTIV 2/2022: Die brandneue VIDEOAKTIV 2/2022 lĂ€sst sich ab sofort als eMagazin kaufen und in der Print-Variante versandkostenfrei bestellen. Im Heft lesen Sie die Testberichte zur DJI Action 2, Air 2S sowie der FujFilm X-T30 II und der Sony Alpha 7IV. DarĂŒber hinaus standen das neue MacBook Pro 1 Max, Tascams Mobilrecorder Portacapture X8 sowie das Adobe Premiere Elements und das Corel Pinnacle Studio 25 auf dem PrĂŒfstand fĂŒr das neue Heft. Auch das Praxis-Kapitel weiß wieder mit vielen Tests, Ratgebern und Workshops zu gefallen, etwa der große Praxitest zu lichtstarken MFT-Objektiven sowie der Ratgeber zum Filmen mit der Kamera-Automatik.

Mehr zum Thema ...