Met Milk verwerk je big data tot 4 keer zo snel
Bij bigdata-analyses probeer je meestentijds spelden in de hooiberg met elkaar te combineren. Daarmee bevraag je het computergeheugen op een manier waarvoor het niet ingericht is. Uit efficency-overwegingen laadt een processorkern gegevens per blok uit het dynamische random access memory (Dram) in een relatief kleine lokale cache. Gegevens individueel uit de geheugenchip opvragen kost relatief veel tijd. En in traditionele applicaties heeft dat niet veel zin.
© CC0 1.0
CC0 1.0
Bijna altijd wil je daarvoor namelijk ook aanpalende, gelijktijdig weggeschreven gegevens uit een blok hebben. Bij het individueel ophalen van gegevens loop je dan iedere keer dat je een aanpalend gegeven wilt hebben, opnieuw tegen die tijdstraf aan.