Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 以下は、Apache Arrow公式サイトの以下のオーバービューページの翻訳をベースに、自分の理解のための、自由な翻案・省略・追記を含みます。 画像は全て、上記からの引用です。 Apache Arrow の概要 Apache Arrow は、大規模なデータ セットを処理および転送する高性能アプリケーションを構築するためのソフトウェア開発プラットフォームです。 Apache Arrowの設計目標は、分析アルゴリズムのパフォーマンスと、あるシステムまたはプログラミング言語から別のシステムまたはプログラミング言語へのデータ移動の効率の両方の向
タクシーアプリ『GO』のデータエンジニアをしている牧瀬です。 Apache Arrow という OSS を知り、弊社でも活用できる機会があるのではないかと興味を持ちました。本記事では Apache Arrow の概要を紹介します。 概要Apache Arrow とは、インメモリのカラムナーフォーマット仕様および、それを操作するための各種プログラミング言語用のライブラリ実装です。 Apache Arrow が作られた目的は、大きなデータセットを高速に処理したり、データセットを異なるシステムやプログラミング言語の間で効率的にやりとりするためです。 なぜインメモリ？ 一般的なカラムナーフォーマットの多くはストレージに保存する際のフォーマットですが、Apache Arrow はインメモリの仕様も定められています。 これは 1台のマシン上で異なる言語やプロセスの間でデータをやり取りする際、シリアライ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く