Innovatie & Strategie

Datamanagement
spark-logo

CWI zet schouders onder vernieuwing van Spark

Intensieve samenwerking van CWI met Databricks, drijvende kracht achter het framework voor bigdata-analyse Spark

© Apache
28 april 2017

Intensieve samenwerking van CWI met Databricks, drijvende kracht achter het framework voor bigdata-analyse Spark

Data-analysespecialist Databricks gaat voor z'n R&D nauw samenwerken met het Centrum Wiskunde & Informatica (CWI). Het Amerikaanse bedrijf opende daartoe een R&D-centrum in Amsterdam.

Databricks is het leidende bedrijf achter het opensource clustercomputing framework Apache Spark. Dat iswereldwijd één van de meest gebruikte omgevingen voor het analyseren van big data. Het bedrijf claimt, met financiële ruggensteun van private equity investeerders als Andreessen Horowitz en NEA, aan het opensourceproject Spark 10 maal meer code bij te dragen dan welke andere community-deelnemer ook. Databricks' verdienmodel achter die opensource-inspanningen is de exploitatie van een beheerde cloudomgeving waarin bedrijven en instellingen tegen betaling gebruik kunnen maken van Spark-instanties. Daarnaast leidt Databricks gebruikers op. Inmiddels zouden al zo'n 40.000 bigdata-specialisten door  Databricks in de mogelijkheden van Spark zijn ingewijd.

Om te zorgen dat die mogelijkheden zich blijven doorontwikkelen doet Databricks zelf onderzoek en werkt het ook samen met wetenschappelijke onderzoeksinstelling als het Amsterdams CWI. Zo financiert Databricks onderzoek in de Database Architectures-groep van CWI, die eerder de high-performance databasesystemen VectorWise en MonetDB ontwikkelde. De onderzoekers van die groep werken nu aan databasetechnieken die voor Databricks interessant kunnen zijn. Het gaat om methoden waarmee gebruikers grote hoeveelheden data kunnen analyseren die behalve in tabellen ook in (sociale) netwerken kunnen zijn vastgelegd.

Achter de schermen

De samenwerking kreeg op de Hannover Messe z'n formele aftrap in aanwezigheid van minister Kamp van Economische Zaken. De samenwerking zal worden gecoördineerd door Peter Boncz, een senior researcher in de Database Architectures-onderzoeksgroep van CWI. Boncz ziet duidelijke kansen voor het fundamentele CWI-onderzoek: “Voor CWI levert de samenwerking de kans op om achter de schermen mee te kijken bij Databricks. We krijgen inzicht in de grote diversiteit aan data-analyseproblemen waarmee gebruikers worstelen, en ontdekken zo de open vragen op het gebied van data-analyse. Daarnaast zijn bij Databricks professoren van Berkeley en Stanford betrokken, dus er ontstaan ook nieuwe wetenschappelijke samenwerkingen.” 

Snelheid

Volgens Ram Sriharsha, interim vestigingsmanager van het nieuwe Amsterdamse R&D-center van Databricks, zal de gezamenlijke R&D-inspanning zich in eerste instantie richten op het verder vergroten van de snelheid en schaalbaarheid van Spark. 

Centrum Wiskunde & Informatica

Het CWI is sinds 1946 het nationale onderzoeksinstituut voor wiskunde en informatica. Het is gevestigd op het Amsterdam Science Park en is deel van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). Het instituut heeft een sterke internationale positie. Ruim 150 wetenschappers doen er grensverleggend onderzoek en dragen de verkregen kennis over aan de maatschappij. Meer dan 30 van de onderzoekers zijn hoogleraar aan een universiteit. Het instituut heeft 24 spin-off bedrijven voortgebracht.

Lees meer over
Lees meer over Innovatie & Strategie OP AG Intelligence
Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.