Apache stort zich op kolomgebaseerde in-memory verwerking

Die hoge in-memory werkingsnelheid moet worden bereikt door gebruik te maken van een kolomgebaseerd storageschema. De aanpak maakt een aanzienlijk beperking mogelijk van de overhead die bij een recordgebaseerde dataordening ontstaat door het herhaaldelijk moeten serialiseren en de-serialiseren van data. Soms gaat daar wel meer dat dan driekwart van het beschikbare processor-vermogen aan op.

Ook biedt kolomgebaseerde in memoryverwerking betere mogelijkheden om analyses gedistribueerd uit te voeren op systemen die daartoe niet op hardware-niveau interoperabel hoeven te zijn. Deze eigenschap zou weleens van groot nut kunnen blijken binnen de context van het internet of things.

Apache Drill

De plannen voor Apache Arrow hebben de steun van andere Apache-ontwikkelgemeenschappen zoals die rond Hadoop, Spark, Drill, Calcite, Cassandra, HBase, Impala, Kudu, Parquet, Phoenix en Storm. Deze groepen zullen ongetwijfeld code aandragen voor hergebruik binnen Apache Arrow.