Spin-off CWI pakt gigantische stroom astro-data aan
Aan MonetDB en CWI is gevraagd deze uitzonderlijk big data-toepassing technisch mogelijk te maken.
Het te ontwikkelen systeem moet ervoor zorgen dat de software en algoritmes in het dataverwerkingsproces ook bij een groeiend datavolume en de complexe query’s correct en efficiënt blijven werken en veilig kunnen worden opgeschaald of verbeterd.
Kolomgebaseerd
Het databasemanagementsysteem is een kritieke component in de verwerking van big data. Het team achter de Square Kilometre Array koos voor het kolomgebaseerde open source databasemanagementsysteem MonetDB. Verder wordt gebruik gemaakt van de ontwikkelomgeving Python in combinatie met MonetDB's Data Vaults-extensie voor het beheren van externe bestanden.
Het Square Kilometre Array-project wordt gefinancierd via het AstroCompute in the Cloud-programma van de SKA Organization en Amazon Web Services. Het totale systeem moet uiteindelijk gaan draaien in de cloud bij Amazon Web Services. Amazon stelt hiervoor 1 petabyte aan opslagruimte beschikbaar. Het project zal naar verwachting eind 2016 gereed zijn.
Spin-off
MonetDB Solutions is een spin-off van het CWI en richt zich op technische consultancy rond Business Intelligence en big data analytics op basis van het open-source databasesysteem MonetDB.
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonnee