Innovatie & Strategie

Infrastructuur
3D mesh model

Nieuwe MPEG-standaard comprimeert 3D realtime

Promovendus CWI zet schouders onder realtime transmissie van ruimtelijke beelden

3D mesh model © CC0 gerald
27 januari 2017

Promovendus CWI zet schouders onder realtime transmissie van ruimtelijke beelden

Streamen van realistische 3D-informatie vraagt als regel meer bandbreedte dan Internet te bieden heeft. Aan het Amsterdamse CWI werden werkwijzen ontwikkeld om, onder meer door realtime compressie en decompressie, 3D-mesh modellen en 'time varying' puntenwolken, via internetverbindingen realtime te verzenden en te synchroniseren.

Eigenlijk wil iedereen ook online steeds meer met 3D doen. Ten behoeve van gaming, co-creation of video-conferencing willen we hoogrealistische 3D-beelden, echte of kunstmatig, realtime uitwisselen en met elkaar verbinden.

Maar de huidige infrastructuur, protcollen en codecs zijn daar qua capaciteit en architectuur eigenlijk niet op toegespitst. De bandbreedte van end-to-end internetverbindingen is beperkt. En realtime overdracht van ongecomprimeerde 3D puntenwolken of mesh modellen wordt niet ondersteund. 

Meshes en puntenwolken gereconstrueerd op basis van meerlaagse afbeeldingen en audio afkomstig van microfoon opstellingen maken deel uit van de 3D representaties. Dit soort beelden worden momenteel niet ondersteund door bestaande media codecs. De nieuw ontwikkelde codecs en transmissie methodes zullen nieuwe 3D virtual reality en teleporting toepassingen mogelijk maken.

Open source

Volgens Rufael Mekuria vraagt deze mismatch om de ontwikkeling van efficiënte methodes voor compressie en transmissie. Maar daarbij zal dan wel rekening moeten worden gehouden met verschillen in devices en softwareplatformen, zoals browsers, desktops en serverapplicaties. Op basis van zijn bevindingen ontwikkelde hij drie op tranmissietoepassingen toegespitse methoden voor het comprimeren van 3D meshes en een codec voor 'time varying' 3D puntenwolken.
Daarmee wordt het onder meer eenvoudiger 3D virtuele content te mixen met realistische content. Een deel van Mekuria's implementatie is open source en de resultaten hebben geleid tot de ontwikkeling van een MPEG-standaard op het gebied van puntenwolk-compressie.

Mekuria voerde zijn onderzoek uit in de Distributed and Interactive Systems groep van het CWI, onder begeleidng van prof. dr. Dick Bulterman en prof. dr. Pablo César. Het onderzoek werd gefinancierd door het EU FP7 REverie-project.

Lees meer over
Zie ook Innovatie & Strategie op AG Connect Intelligence

Reactie toevoegen