CWI bouwt applicatie voor analyse grote datastromen
De onderzoekers combineren een systeem voor streaming met een databasesysteem om de continue stroom aan data te analyseren voor onder meer de beurshandel, wetenschappelijk onderzoek en de online advertentiemarkt. Huidige databasesystemen zijn niet toegerust voor continue verwerking van data en streaming-systemen kunnen slecht omgaan met grote datahoeveelheden. In de nieuwe applicatie wordt de data wel real-time verwerkt, in plaats van eerst opgeslagen en later geanalyseerd te worden.
Shutterstock
Shutterstock
Beter dan commerciële systemen
De onderzoekers hebben streaming-functionaliteit ingebouwd in MonetDB, het databasemanagementsysteem voor big data dat op het CWI ontwikkeld wordt. Het nieuwe systeem integreert opslag en analyse van data en kan een grote datastroom real-time analyseren. Met behulp van de nieuwe applicatie kunnen beurshandelaren bijvoorbeeld verschillende aandelen laten monitoren, en een signaal krijgen als een bepaalde correlatie optreedt. Bij grote hoeveelheden data presteert het beter dan commerciële systemen, betogen Liarou en haar collega’s.
Big Data-onderzoek valt onder het onderzoeksthema Informatie van het CWI, dat is gevestigd op het Science Park Amsterdam. Hier worden methoden en technologieën ontwikkeld om betekenisvolle informatie te genereren uit grote hoeveelheden data. Bij het CWI doen ruim 150 wetenschappers uit verschillende landen onderzoek, van wie er meer dan 30 hoogleraar aan een universiteit zijn. Het instituut heeft 21 spin-off bedrijven voortgebracht.
Betaversie te downloaden
Het proefschrift 'MonetDB/DataCell: Leveraging the Column-store Database Technology for Efficient and Scalable Stream Processing' van Liarou is hier te downloaden. De DataCell-extensie voor MonetDB is open source en er is een betaversie verkrijgbaar.
Gerelateerde artikelen
Gerelateerde artikelen
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonnee