Facebook tankt 20 miljard Instagram-foto's uit de cloud

Voor Instagram lag het voor de hand om computercapaciteit te huren bij een externe partij. Maar voor Facebook, dat over enorme eigen rekencentra beschikt, is dat een ongewenste situatie. Niet alleen vanwege de kosten - want bij de schaal van Facebooks centra is verwerking in eigen huis goedkoper - maar ook omdat dat het beheer compliceert en de analyse van gegevens lastiger maakt.

Redactie AG ConnectMeer van deze auteur

Die afweging maken om te migreren naar eigen systemen is relatief simpel, vervolgens uitvoering geven aan de migratie is wel even wat anders, blijkt uit de beschrijving van het project op de website Wired. Instagram had inmiddels zo'n 20 miljard foto's opgeslagen, en gebruikte daarvoor duizenden virtuele machines bij Amazon.

Feitelijk twee maal gemigeerd

Om te voorkomen dat de Instagrammers iets zouden merken van de migratie, besloot het projectteam om één computernetwerk te bouwen dat Facebooks rekencentrum en Instagrams virtuele machines bij Amazon zou omspannen. Dat ging echter niet zomaar: Instagram maakte gebruik van EC2, de publieke cloud van Amazon. Om Amazon-machines onderdeel te laten uitmaken van een Facebook-netwerk, moest het projectteam de Instagram-installatie eerst migreren naar een Virtual Private Cloud bij Amazon.

Dubbel werk was echt nodig

Dat betekende niet alleen dat het projectteam de migratie feitelijk tweemaal moest uitvoeren. Het stelde de IT'ers van Facebook ook voor de uitdaging om binnen de Amazon-infrastructuur een gemeenschappelijk netwerk tussen EC2 en VPC in te richten. Amazon biedt daarvoor zelf namelijk geen tools. Voordat de migratie echt van start kon, moest het projectteam daarom eerst zelf een netwerktool bouwen om een netwerk te kunnen creëren dat het eigen hoekje in het publieke deel en het private deel van Amazons cloud zou kunnen omspannen.

Belangrijkste les: kies virtual private cloud

Daarin ligt wellicht de belangrijkste les van dit project, zegt oprichter Mike Krieger van Instagram. De cloud is voor startende bedrijven een ideaal middel om snel en flexibel over computercapaciteit te kunnen beschikken. Maar wie er daarbij voor kiest zijn IT-omgeving op te bouwen in de publieke cloud, maakt het een stuk lastiger om te migreren naar eigen systemen na een overname of wanneer dat na verloop van tijd toch goedkoper blijkt. "Als ik nu opnieuw zou beginnen, zou ik zonder meer kiezen voor een virtual private cloud", aldus Krieger.