Facebook gunt kijkje in eigen Big Data-vernieuwing

Maar liefst een halve petabyte aan informatie komt dagelijks de datacentra van Facebook binnen. De hoeveelheid data opgeslagen in de centra groeide de afgelopen 4 jaar met een factor 2500. Zo'n 1000 mensen binnen Facebook maken dagelijks gebruik van de analysetools op deze data, zowel voor technische doeleinden als marketing en zakelijke toepassingen.

Het team heeft toen verschillende opties bekeken, zoals de overstap naar YARN, een alternatief voor Hadoop. Het team had echter al snel door dat dit niet de schaal aankon waarop Facebook werkte.

Corona inmiddels in gebruik

Het team, waar de blogschrijvers deel van uitmaken, is toen zelf gaan bouwen aan een nieuwe MapReduce scheduler. De moet beter om kunnen gaan met snelle capaciteitsuitbreidingen en een lage latency hebben voor het uitvoeren van kleine jobs, wat veel voorkomt in de Facebookpraktijk. Ook is gekeken naar het eenvoudig aanbrengen van aanpassingen en de mogelijkheid het inplannen van jobs te sturen met actuele gegevens. Het resultaat is Corona dat inmiddels in gebruik is genomen.

Facebook heeft de software gedoneerd aan de opensourcegemeenschap via GitHub.