最近読んだ、The Rise of Single-Node Processing: Challenging the Distributed-First Mindset という記事に最近考えていたことが書いてあったので便乗して自分の考えを書き留めておく。 元記事では、かつては大規模なデータの処理というと何はともあれ分散システムであり、Spark や BigQuery などを導入するのが当然であったが、近年は DuckDB や Polars など、シングルノードでも高速にテーブルデータを処理できる技術が登場してきたことで必ずしも分散システムは必要ではないよねという風潮に変わってきた、ということが述べられている。コスト面でもクラウドを使うのであれば、小さいインスタンスをいくつも立てて分散処理するのと、合計して同程度の vCPU や RAM を持つ一つの大きなインスタンスを立てて処理するのとで料金
Version 2.6.1 released! Changes in 2.6.1 (since 2.6.0) Bug [UNOMI-866] - Remove hardcoded version of log4j-extension [UNOMI-867] - Fix reIndex in migration to allow to call the method multiple times Version 2.6.0 released! Changes in 2.6.0 (since 2.5.0) Bug [UNOMI-847] - Unable to delete a groovy action / Issue when registering Groovy actions [UNOMI-862] - Error in scope existing check during the
先日、ナウキャストさん主催のデータ系のイベント、DataOps Night #6 でお話させていただきました。 finatext.connpass.com www.youtube.com speakerdeck.com テーマ決めの経緯 テーマが DataOps ということで、データ品質周りの話として GreatExpectations を絡めた話をしたら面白いだろうなと思っていたのですが、私の今の業務が新基盤の構築で利用フェーズはこれからというタイミングでして、運用フェーズの話ができないと聞く方も面白くないだろうと考え直し、直前にテーマ変更させていただきました。 結果として、DataOps というよりは、ユーザの課題を解決する基盤構築をしようという私の実業務に近い話をすることにしました。2年に渡る基盤構築プロジェクトの途中から参画した立場で、社内でもプロジェクトの立場によって考え方や見え
This post first appeared in The Analytics Engineering Roundup. I’ve been writing this newsletter since September of 2015. This will be the 10th year I’ve had the opportunity to reflect on a year gone by and make predictions about the year ahead. Data science and the rise of PythonIn the early years (2015-2017), the data ecosystem was dominated by data science. Data viz, developments in the Python
By Bo Lei, Guilherme Pires, James Shao, Kasturi Chatterjee, Sujay Jain, Vlad Sydorenko BackgroundRealtime processing technologies (A.K.A stream processing) is one of the key factors that enable Netflix to maintain its leading position in the competition of entertaining our users. Our previous generation of streaming pipeline solution Keystone has a proven track record of serving multiple of our ke
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く