IBM geeft beheerder van grote bestanden meer lucht

De exercitie lijkt nogal theoretisch, maar is het beslist niet. Versnelling van het uitvoeren van beheerstaken – zoals het selecteren van bestanden voor de back-up en migratie – is een absolute noodzaak. De hoeveelheid gegevens die bedrijven in beheer hebben, blijft namelijk sterk groeien. De verwerkingssnelheid van computers, netwerken en opslagsystemen houdt daar geen gelijke tred mee.

Redactie AG ConnectMeer van deze auteur

Tech & Toekomst — Shutterstock

Shutterstock

Daardoor schiet er vaak onvoldoende tijd over voor de beheertaken die alleen uitgevoerd kunnen worden als de systemen niet in productie zijn.

Opsplitsen mogelijk, maar niet ideaal
Eén van de oplossingen voor dit probleem is het opsplitsen van de grote gegevensverzamelingen over meerdere bestandssystemen met een eigen repository. Dat stelt zowel ontwerpers als gebruikers echter voor uitdagingen die ze liever uit de weg gaan.

IBM werkt al jaren aan een alternatief in de vorm van het General Parallel File System, dat oorspronkelijk – 15 jaar terug – werd ontworpen voor high performance computing, maar ook steeds meer ingezet wordt voor taken die zich kenmerken door de verwerking van grote aantallen gegevens.

Solid state drive maakt het verschil
Het jongste record werd voor een belangrijk deel mogelijk gemaakt door de inzet van solid state drives voor de opslag van de metadata. IBM gebruikte er 4, met een totale opslagcapaciteit van 10 terabyte en gezamenlijk een bandbreedte van 5 gigabyte per seconde. Daarnaast gebruikte IBM een cluster van 10 servers met elk 8 processorkernen, een snelle SilverStorm Infiniband-switch, en de jongste versie van GPFS. In de test werd van één beheerregel bepaald, voor welke van de 10 miljard bestanden dat een bewerking nodig zou maken.

Meer details over de opzet van de test zijn te vinden in de whitepaper ‘GPFS Scans 10 Billion Files in 43 Minutes’, die IBM online heeft gezet.