Supercomputer zet Hadoop aan het werk
Vooral uit de kring van wetenschappers was de vraag naar Big Data-analysesoftware groot, volgens Bill Blake, de chief technical architect van Cray, tijdens de SC2013 supercomputing conferentie in Denver.
Shutterstock
Shutterstock
Vooral Hadoop MapReduce brengt een aantal grote voordelen bij het verwerken van grote datasets op een supercomputer. In de traditionele supercomputeropzet spelen hiërarchische bestandsformaten en bibliotheken (libraries) een belangrijke rol bij het optimaliseren van zo hoog mogelijke input-outputprestaties. Hadoop kan hiermee niet goed overweg.
Daarnaast zijn ook de datastromen bij het kraken van wetenschappelijke getallen-verzamelingen vaak complexer, waarbij analyses en berekeningen met elkaar verweven zijn. Daar is Hadoop evenmin op ingericht.
Cray heeft met Framework for Hadoop en Perfomance Pack foor Hadoop heeft Cray deze problemen aangepakt. De gereedschappen komen in begin 2014 beschikbaar.
Gerelateerde artikelen
Gerelateerde artikelen
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonnee