Huur eens een supercomputer in de cloud voor datascience

HPC-as-a-service (HPCaaS) is een relatief nieuwe loot aan de boom met diensten van cloudaanbieders. De supercomputers die zij aanbieden, zijn vaak van het type waarbij een groot aantal servers tot een netwerk aan elkaar geknoopt zijn en met parallelle verwerking heel snel complexe problemen kunnen oplossen.

IBM, Amazon Web Services, Microsoft Azure, Hewlett Packard Enterprise (HPE) en Google Cloud Platform hebben ze allemaal, somt Venturebeat op. Hun klanten bestaan nog vooral uit organisaties die gewend zijn dergelijke krachtpatsers in te zetten. Denk aan onderzoeksinstellingen, chemische bedrijven, de auto-industrie, financiële instellingen en biotech-bedrijven.

Dat lijkt een gemiste kans, op basis van recent onderzoek naar het gebruik van de bigdata-voorraden die veel bedrijven met veel fanatisme hebben aangelegd. De meeste organisaties geven aan slechts 12% van de verzamelde gegevens daadwerkelijk te gebruiken (Qlick.com). Bijna driekwart van de organisaties ziet het in gebruik nemen van bigdata-initiatieven als een enorme uitdaging (NewVantage Partners) en mogelijk is een van de oorzaken dat 63% van de werknemers klaagt dat zij de inzichten waar ze naar op zoek zijn, niet binnen de daarvoor beschikbare tijd te zien krijgen (Sigma).

Tegelijk blijkt uit recent onderzoek dat bigdata-projecten nog altijd voor grote voordelen kunnen zorgen, zoals beter onderbouwde strategische beslissingen (69%), nauwkeurigere controle over processen (54%) en meer inzicht in de beweegredenen van klanten (52%) (Barc). In hetzelfde onderzoek zei 47% van de ondervraagden dat zij kosten hebben bespaard als gevolg van de inzet van bigdata-analyse.

Cloudvariant HPC heeft voordelen

De geschetste problemen kunnen deel worden ondervangen met de inzet van HPCaaS. Dat de optie nog niet zo veel wordt gebruikt, buiten de traditioneel rekenintensieve industrieën, is niet vreemd. Een HPC opzetten in een eigen datacentrum is voor de meeste organisaties niet weggelegd. Het vergt een langdurig installatie- en implementatieproces dat vaak gespecialiseerde kennis vereist. Ook lopen de kosten nogal eens onverwacht op. Daarnaast draait een eigen HPC nooit optimaal efficiënt door het wisselend aanbod van taken.

Dat valt te ondervangen met een HPC in de cloud. Wat dat betreft niets nieuws, want cloudproviders zijn niet te evenaren in het efficiënt gebruik van hardware door hun schaalvoordelen. Ook is beheer en beveiliging doorgaans beter geregeld dan in een eigen datacentrum.

De traditionele rekenintensieve industrieën hebben dat inmiddels door, gelet op de snelle stijging die al in 2019 werd gesignaleerd in onderzoek van Hyperion. Het percentage HPC-workloads dat in de public cloud werd uitgevoerd was toen in een jaar tijd gestegen van 10 naar 20%. Maar daarmee zijn deze clouddiensten ook beschikbaar gekomen voor kleinere bedrijven die gebaat zijn bij de mogelijkheid dit soort grote jobs uit te voeren, ook al komen die minder voor. Bijvoorbeeld voor complexe bigdata-analyses of complexe simulatie-experimenten.