この記事は毎週必ず記事がでるテックブログ Loglass Tech Blog Sprint の79週目の記事です！ 2年間連続達成まで残り27週となりました！ 昨今、データエンジニアリングの重要性が高まるなか、データレイクハウスという言葉を聞く機会が増えてきました。一方で、BI、DWH、データレイクといった分野は、色のついた商用製品であったり大規模な技術スタックになったりと気軽に触りにくい印象があったりもして個人的に最近はあまり触れてこなかった分野でした(15年程前はだいぶBI製品にお世話になりましたが)。 でも、実はかじってみると美味しい、単なる食わず嫌いだったかもしれません。この記事では前半にデータレイクハウスを概観しつつ後半に軽くハンズオンしてみたいと思います。チョイスは、最も使われるフォーマットである Apache Parquet 、S3 Tables の元となっている Apach
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事はこちらのブログを参考にしています。 翻訳にはアリババクラウドのModelStudio(Qwen)を使用しております。 Apache Paimon: 統合データレイクストレージソリューションの洞察 この記事では、Apache Paimonという統合データレイクストレージソリューションについて紹介します。特に、ビッグデータシステムにおける主要な課題への対応、なぜApache Paimonがこれらの問題の解決策になるのか、中国での採用状況、そしてさまざまなデータ処理とAI技術との統合について焦点を当てます。 ビッグデータの実践者たちは
はじめに 海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら！ 📖 AWS re:Invent 2024 - [NEW LAUNCH] Store tabular data at scale with Amazon S3 Tables (STG367-NEW) この動画では、Amazon S3の新機能「S3 Tables」について詳しく解説しています。S3 TablesはAmazon S3上で完全マネージド型のApache Icebergテーブルを提供し、表形式データの保存と管理を効率化するサービスです。従来のバケットと比較して最大10倍のトランザクション/秒を実現し、自動圧縮機能によりクエリパフォーマンスを最大3倍高速化できます。AWS Glue Data Catalogとの自動
マイクロアドの京都研究所からリモートで働いているインフラ開発ユニットの永富 id:yassan0627 です。 3/1に開催されたOpen Table Format Study GroupのMeetupの第2回目にて、「Kafka ConnectのIceberg Sink Connector」をテーマに話してきました。 今回は、その紹介です。 otfsg-tokyo.connpass.com Open Table Format Study Group（OTFSG） について 私の発表について Kafka Connectとは Iceberg Sink Connectorとは お試し環境について 私以外の発表について 最後に Open Table Format Study Group（OTFSG） について Open Table Format Study Groupは、以下を目的とする勉強会で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く