Promovendus maakt verwerking Big Data stukken sneller

Dubbele taak

Veel organisaties verzamelen tegenwoordig enorme hoeveelheden digitale informatie, en slaan deze op in een databasemanagementsysteem. Deze database wordt continu gewijzigd en aangevuld, maar ook moet ook op elk moment geanalyseerd kunnen worden. Dit zijn twee verschillende bewerkingen, die verschillende eisen stellen aan de architectuur van het databasesysteem.

Traagheid

Het transport van data van disk naar de computer vergt doorgaans veel tijd. Via compressie kan die tijd sterk worden bekort, zodat een flessenhals wordt vermeden. "In mijn onderzoek heb ik de negatieve gevolgen van zo’n flessenhals gereduceerd, door de omvang van een database te verkleinen door middel van data compressie", zegt Héman.

Wijzigingen apart behandelen

Als er wijzigingen in een gecomprimeerde database moeten worden aangebracht, is het omslachtig om de data eerst te moeten decomprimeren, wijzigen, hercomprimeren, en weer opnieuw weg te schrijven. Hiertoe heeft Héman technieken ontwikkeld die wijzigingen differentieel bijhouden, zoals errata bij een boek, maar dusdanig dat deze tijdens het lezen direct en efficiënt worden toegepast.

Toepasbaarheid

Hémans onderzoek is relevant voor elk domein waar grote hoeveelheden data geanalyseerd dienen te worden. Dit zijn bijvoorbeeld zoekmachines die het hele web indexeren en doorzoeken, wetenschappelijke toepassingen, zoals analyses van astronomische data of genomen, of commerciële toepassingen waarbij de interesses van grote hoeveelheden klanten in kaart moeten worden gebracht.

Een overzicht van de oude en nieuwe werkwijze: