Vinding versnelt Big Data analyse spectaculair

Sang-Woo Jun, een promovendus aan het Massachusetts Institute of Technology (MIT), heeft een oplossing bedacht voor dit probleem. Hij creëerde een opslagnetwerk van flashdrives waarbij elke drive een knooppunt (node) vormt met een field programmable gate array-chip (FPGA) waarmee die drive verbonden is. Die chip stuurt niet alleen de flash-drive aan maar kan ook een aantal bewerkingen op de gegevens uitvoeren. Daardoor vindt een deel van de bewerking plaats vlak bij de plek waar de gegevens zijn opgeslagen. "Het is niet altijd nodig alle gegevens naar de machine te transporteren om er mee te werken", zegt Jun.

Van milliseconden naar nanoseconden

Zijn aanpak kan de wachttijd reduceren van de 12 milliseconden die een harde schijf doorgaans nodig heeft, tot nanoseconden. Jun heeft het concept van zijn aanpak getest met een netwerk met 4 nodes die werden samengesteld met wat oudere componenten. Om het idee verder uit te werken bouwt zijn team nu een netwerk met 16 nodes. Dat heeft een opslagcapaciteit van 16 tot 32 gigabyte. De snelheid van het netwerk is 3 gigabyte per seconde.

Door de configuratie verder te optimaliseren verwacht Jun een systeem te kunnen bouwen dat vrijwel real-time werkt. Hij presenteert zijn vinding op het Symposium on Field-Programmable Gate Arrays dat van 26 tot 28 februari in Monterey in Californië plaatsvindt.