When you buy through affiliate links in our content, we may earn a commission at no extra cost to you. Learn how our funding model works. By using this website you agree to our terms and conditions and privacy policy. We uphold a strict editorial policy that focuses on factual accuracy, relevance, and impartiality. Our content, created by leading industry experts, is meticulously reviewed by a tea
Yahoo! Labs! Advertising Sciences has built a general-purpose, real-time, distributed, fault-tolerant, scalable, event driven, expandable platform called S4 which allows programmers to easily implement applications for processing continuous unbounded streams of data. S4 clusters are built using low-cost commoditized hardware, and leverage many technologies from Yahoo!’s Hadoop project. S4 is writt
1. オープンソースカンファレンス 2010 Tokyo/Fall Hadoop ～ Yahoo! JAPAN の活用について～ 2010/9/10 ヤフー株式会社 R&D 統括本部 角田直行、吉田一星 2. 自己紹介 角田 直行 ( かくだ なおゆき ) R&D 統括本部 プラットフォーム開発本部検索開発部 開発 3 2005 年 ヤフー株式会社入社 ヤフー地図 ヤフー路線 ヤフー検索 … 2010 年現在、検索プラットフォームを開発中 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 3. 自己紹介 吉田一星 （よしだ いっせい） R&D 統括本部プラットフォーム開発本部検索開発部開発３ R&D 統括本部フロントエンド開発本部アプリケーション開発部開発４（兼） R&D 統括本部プラットフォー
御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 ITはお金をもらう以上、お金を払う人が何を必要としているのか？なぜ必要としているのか？が最初の出発点であり、かつ、最後の終着駅であるわけ。んで、この事を知らないIT屋さんいないわけ。でもこれは、「行って、その場で聞けば良い」というナイーブなものではないわけよ。自覚していない人大杉 2010-09-07 01:11:09 御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 例えば、「次の仕事は会計システムですよ」ってアサインされたとして、要件定義の前に、簿記の勉強でもしておこう、っていうIT屋さんって何人いるよ？いいとこ、簿記の教科書買って、半分くらい読む、というのがせいぜいですわ。仕事なめてるとしか思えない。アジャイ
Last Tuesday I gave a short presentation at the new Boulder Hadoopers Group about testing Hadoop jobs with MRUnit. You will have to know what Hadoop is and how to read Groovy code to fully understand it. I am including the important notes on the slides as well. If your browser doesn’t support flash, check out the slides at slideshare Why use MRUnit? Testing a Hadoop job requires a lot of effort no
0.概要 HadoopDB[1]は,普通のDMBSとMapReduceを組み合わせた分散DBMSシステムの試み。 分散して性能を稼ぐ目的より、ノードが故障したり性能劣化しても、クエリ性能を極力劣化させないシステムを目指す。 DBMSはPostgreSQLを使用しているが、MySQLも動作する(ようだ)。 性能評価は、分散DBMS(Vertica)とHadoopDBとHadoop+Hiveのベンチマークを比較している。 ノードの故障がない場合は、分散DBMS(Vertica)の性能が高い。 だいたい、Vertica ＞ HadoopDB ＞ Hadoop の順。 一部のノードが故障したり、性能低下した場合は、HadoopDBの性能が高い結果となり効果がある。 1ノードの故障で、クエリ応答時間は、Verticaは170%、HadoopDBは30%以下の性能劣化となった。 なお、この論文[1]の
見えてきたHadoopの“使いどころ”─「Hadoop Hack Night Vol.2」開催 8月4日、六本木ミッドタウンのヤフー株式会社にて、今回で2回目となるHadoopをテーマにしたイベント「Hadoop Hack Night Vol.2」が開催された。 Hadoop（ハドゥープ）は、いま注目のクラウドコンピューティングなどに利用されているMapReduce技術が使えるオープンソースソフトウェア。大規模なデータの解析処理などに分散システムを利用したい場合に大きな力を発揮する。 このように注目を集めているHadoopだが、実際に数テラバイト以上といった大容量のデータを処理しなければならないケースはまだそれほど多くない。大きな期待を集めながら「生きた実例」に乏しいのもHadoopをめぐる1つの状況だろう。そこで、今回の「Hadoop Hack Night Vol.2」は「ケーススタディ
id:kaigai の主催する勉強会で発表してきました。 Hadoop for programmerView more presentations from shiumachi. 答えられなかった質問 Shuffleフェーズって、ソートをどういう仕組みでやってるの？ データ全部をなめてるの？ Partitionerというクラスでデータを振り分けてる。タスクごとは独立してるのでデータをまたがってアクセスすることはないと思う。でも細かいことはちょっとわからない。 Map中にデータ追加したらどうなるのか？ さすがに扱うデータは最初に決めていると思うが、やったことないのでわからない。 Streamingって具体的にどんな処理してるの？ jarファイルは投げてるけど、実行時に使うスクリプトはどうやって投げてるのかわからない。 あとで調べときます。 今の世の中に出てるHadoop本って構築とか運用の話
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
slots jackpot নতুন সদস্যদের জন্য ১৫০% বোনাসে ১০,০০০ টাকা পর্যন্ত সুবিধা, এখনই যোগ দিন! লাইভ ডিলার সেকশনে রেজিস্ট্রেশন করলে ১২,০০০ টাকার ডিপোজিট বোনাসের সঙ্গে সঙ্গে ৫০% ইনস্ট্যান্ট বোনাসও পাবেন। নতুন খেলোয়াড়রা ক্যাসিনোর রহস্য উন্মোচনের পাশাপাশি ৭০০ টাকার ক্যাশব্যাক সুবিধা গ্রহণ করতে পারবেন। “অনলাইন ক্যাসিনোতে বিশেষ বোনাসের সুবিধা নিতে পারবেন।” “অনলাইন গেমব্লিংয়ে অভিযোগ জানাতে সীমিত সময় আছে।” “ম
id:ny23 さんが動的ダブル配列を使って Wikipedia のテキスト処理を高速化なんてのを書いている。たぶんこれのエントリを見る前にMapReduce と四身の拳を見た方がコンテクストが分かると思う。Hadoop 使ってなんでもできそう！ Hadoop の勉強したい！なんて思っている人は読んでみるとよい。 自分の考えについて書いておくと、自分は誰も彼も Hadoop 使いたがる状況には辟易している。ほとんどの人には不要なはずだし、そもそも Hadoop は(ny23 さんも書かれているが)メモリに乗り切らない大規模データを扱いたいときに効力を発揮するのであって、メモリに乗り切るくらいのサイズであれば、データ構造を工夫したり適切なアルゴリズムを選択した方が遥かによい(id:tsubosaka さんも実験されていたが)。たとえデータが大規模であったとしても、たとえば形態素解析なんかのタ
8月に入社した佐々木です。こんにちわ！ 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求めているはず…！！ そこで、僕が実際に触ってみて困った事やHadoopを使う上でポイントだと思ったことなどを社内勉強会で発表したので公開してみます。Hadoopを使っている（使いたいと思っている）方の参考になれば幸いです。 [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopの利用はまだまだ試行錯誤の連続
Agile Cat @Agile_Cat Hadoop モテモテｗ RT @xxkickerxx: 私もー見ますー。RT @Agile_Cat: あとで見ます～～～♪ RT @ryu_kobayashi: Hadoop2010: Hadoop Security in Detail. http://goo.gl/le4w 2010-07-17 16:12:55 御徒町@Serializable @okachimachiorz HadoopSecurity 0.20系 ①ケルベロス導入 ②HDFSへのアクセス（ticket） ③MRのACLの設定 独立ユーザーがそれぞれにセキュアにHadoopを利用するようにしている。http://bit.ly/93T45E @myen 2010-07-17 17:04:15
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く