Apache stort zich op kolomgebaseerde in-memory verwerking
Het Apache Arrow gedoopte project moet een analytische verwerkingsomgeving opleveren die tot wel honderd maal sneller werkt dan de huidige big data-oplossingen van Apache, zoals Hadoop, Spark en Kafka.
Die hoge in-memory werkingsnelheid moet worden bereikt door gebruik te maken van een kolomgebaseerd storageschema. De aanpak maakt een aanzienlijk beperking mogelijk van de overhead die bij een recordgebaseerde dataordening ontstaat door het herhaaldelijk moeten serialiseren en de-serialiseren van data. Soms gaat daar wel meer dat dan driekwart van het beschikbare processor-vermogen aan op.
Ook biedt kolomgebaseerde in memoryverwerking betere mogelijkheden om analyses gedistribueerd uit te voeren op systemen die daartoe niet op hardware-niveau interoperabel hoeven te zijn. Deze eigenschap zou weleens van groot nut kunnen blijken binnen de context van het internet of things.
Apache Drill
De plannen voor Apache Arrow hebben de steun van andere Apache-ontwikkelgemeenschappen zoals die rond Hadoop, Spark, Drill, Calcite, Cassandra, HBase, Impala, Kudu, Parquet, Phoenix en Storm. Deze groepen zullen ongetwijfeld code aandragen voor hergebruik binnen Apache Arrow.
Gerelateerde artikelen
Gerelateerde artikelen
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonnee