Nov 26, 201192 likes30,014 viewsAI-enhanced description This document discusses Kafka, a distributed messaging system originally created by LinkedIn and now an Apache project. It provides an overview of how Kafka works and how various companies use it, including for log processing (LinkedIn), analytics (Facebook, Twitter, Google), and integrating with other technologies like Hadoop, Zookeeper, HBa
S4 - Presentation Transcript S4: the open-source distributed stream computing platformNachi Ueno 自己紹介 日本のどこかの研究所と呼ばれている組織で日々働いています 最近は、Hadoop,OpenStack,スケールするRDBMSとかに興味があります SimCloudというクラウド管理ツールを作ってます -> OSS公開予定 http://wiki.openstack.org/simcloud Twitter @nati OpenStacker達と@築地 S4 (Simple Scalable Streaming System) http://s4.io/ S4 is a general-purpose, distributed, scalable, partially fault-tole
リアルタイム分散処理の常識をApache S4で身につける：ビッグデータ処理の常識をJavaで身につける（6）（1/2 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 Hadoopの弱点「リアルタイム分散処理」とは 「ビッグデータ」処理のためにHadoopを用いると、「複数のマシンに大量データ処理を分散して飛躍的に性能を向上する」ことが容易にできます。 ところがHadoopの弱点として、ビッグデータをいったん蓄積し、バッチで一括処理する形態で処理するので、処理データが発生してから、それに対する処理結果が得られるまで、必ずタイムラグが発生します。このため、クレジットカードの不正アクセス検知、センサデータなどでの異常値検出のようなリアルタイムな
MapReduce で少し複雑なことをしようと思うと、MapReduce を複数回適用しなければならないことがあります。これにはいくつかの方法があります。 もし、Map+ Reduce Map* (１回以上の Map, Reduce, ０回以上の Map) という形で記述することが出来るならば、ChainMapper, ChainReducer というクラスが用意されており、これを Mapper, Reducer として利用するのが簡単です。 もし、シーケンシャルに MapReduce を適用するのであれば、Job の終了を待ってから次の Job を投入すれば済みます。 ChainMapper / ChainReducer このクラスは既存の Mapper を簡単につなげられることを目的としています。 仮に ChainMapper, ChainReducer というクラスががなかったとしま
以下の記事ではPig, Hiveなど8種類の言語でMapReduceの一番単純な例、WordCountを記述した場合のスクリプトの比較を行っています。とても興味深かったので紹介したいと思います。Pigs, Bees, and Elephants: A Comparison of Eight MapReduce Languages « Dataspora なお、今回はRSS購読しているDataSporaのブログから発見しましたが、エントリを寄稿したエンジニアの個人ブログも大変興味深いのでオススメです。 はじめにMapReduceを美しく効率的に書くために、私は様々な言語を比較しました。果たしてその勝者は！？私の個人ブログでは統計やグラフのアルゴリズムをMapReduceで記述する方法を紹介し、擬似コードによる実装を示しました。擬似コードには2つの問題点があります：誰もがその命令を理解できると
Hadoop streaming is a utility that comes with the Hadoop distribution. The utility allows you to create and run map/reduce jobs with any executable or script as the mapper and/or the reducer. For example: $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input myInputDirs \ -output myOutputDir \ -mapper /bin/cat \ -reducer /bin/wc In the above example, both the mapper and the reduce
設定ファイルを作る 作者の趣味なのか、やたらjsonにこだわるのがこのプログラムのようで、設定ファイルもjsonで書きます・・・・・・設定ファイルなんて素直にRubyコードで書けばいいだろうに、動的言語なんだから 文句を言わず設定ファイルを書きます設定ファイルは credentials.json という名前にしてツールのフォルダ直下に起きます。 内容は { "access-id": "HOGEHOGEHOGE", "private-key": "PIYOHOGEkaljdlf/akajlfkjali1jkdfj", "key-pair": "hoge", "key-pair-file": "D:\elastic-mapreduce-ruby\cert-HOGEHOGHEOHODIDKLdlk.pem", "region": "us-east-1" } という感じになります。最初のヤツと
IBMがHadoopをベースにしたデータ分析ソフトウェア「InfoSphere BigInsights」を、先週ローマで開催された同社のイベント「IBM Information On Demand Europe 2010」で発表しました。 InfoSphere BigInsightsは、Apache Hadoopをベースにした分析エンジンの「BigInsights Core」と、その上で大規模データをWebブラウザを利用してスプレッドシートのようなユーザーインターフェイスで分析を行える「BigSheets」の2つから構成されます。 BigSheetsで表計算のようにデータ分析 BigInsights CoreのベースとなっているHadoopは、数百万件など大規模なデータを大量のサーバで分散処理するためのオープンソースのソフトウェアです。Yahoo!やFacebook、日本ではCookpad
現在，米国Yahoo! Hadoopチームにてアーキテクトを務めるOwen O’Malleyが3月に来日いたします。それに合わせてHadoopの紹介，米国Yahoo!での活用事例などご紹介するセミナーを開催いたします。当日は参加者の方々とのトークセッションを設け，Hadoopコミュニティに所属しているOwen氏との交流の場も提供いたします。 本イベントのTwitterハッシュタグは『#hadoophn』です。 なお，当日の模様は以下のURLでUstream中継を予定しております。 http://www.ustream.tv/channel/hadoophn ネットワーク回線の都合により，3G回線での中継となることが予想されます。安定した配信ができない可能性がありますので，会場までお越しいただくことをおすすめいたします。 「Hadoop Hack Night」に申し込む お申し込み期間：2月
前回、JavaScriptでMap Reduceのコードが書けるHadoop Streamingについて紹介しました。 標準入出力さえサポートされてあれば、任意のコードでMap Reduuceの処理が書ける、というものでしたが、エンジニアはそもそも面倒くさがり。コードも書くのも面倒です。 と、いうわけで、今回はもうコードすら書かずにSQLライクでMap ReduceできるHiveというプロダクトについて、まとめたいと思います。 Hive Hiveとは、簡単に言うとHadoop上で動作するRDBのようなものです。 HDFSなどの分散ファイルシステム上に存在するデータに対して、HiveQLというSQLライクな言語で操作できます。 で、面白いのがHiveQLの操作は基本的にMap Reduceのラッパーになっていること。 要するに、SELECT文実行すると裏でMap&Reduceのタスクが走り出
Hadoop Related Downloads Oozie – Yahoo!'s workflow engine for Hadoop Download the source code of Oozie, Yahoo!'s workflow engine for Hadoop: Apache Hadoop Sandbox Download the sandbox version of Apache Hadoop with security and Pig. The sandbox version contains a VMWare(TM) based virtual machine with a preinstalled Hadoop cluster, enabling easy setup and experimentation. Notice Yahoo! does not offe
The Apache Hadoop project Yahoo!は10日(米国時間)、開催2回目となるHadoop SummitにおいてYahoo! Distribution of Hadoopの公開を発表した。Yahoo! Distribution of HadoopはApache Projectで取り組まれているHadoopをベースに開発されたプロダクト。Hadoopは分散ファイルシステムと並列処理実現のためのプラットフォームとして機能するプロダクト。 Yahoo!はYahoo!検索を含め、主要なサービスですでにHadoopを活用している。今回公開されたYahoo!版のHadoopはこうした使用で検証されてきた成果物であり、Hadoopが大規模システムで十分に機能することことの証明であるとともに、コードがマージされることでHadoopの品質が向上することになるとみられる。Hadoopは
HDFS Reliability Document by Cloudera. Inc. 2009-01-14 (Wed) 23:57 Hadoop HDFS Reliability Clouderaという会社から、HDFSの耐障害性の解説と、運用する点でのポイントが書かれたドキュメントが出ているみたいです。 Cloudera このClouderaという会社はSleepycat(BDB作ってた会社、Oracleが買収)の元CEOが立ち上げた会社で、Hadoopの商用サポート・トレーニングをしてるみたいですね。 メンバーを見ると、層々たる面々。ChristophさんはGOOGにいる時に取り上げられてたりしてましたね。 Hadoop周りの人(そんな人いるのか？)は要注目の会社だと思います。 Similar Posts: HDFSでアトミックな追記操作がサポート Hadoopのインストールとサンプ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く