HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時
先週の月曜日にお披露目会的なものがあったので行ってきた。 ちょいと前半戦は見れなかったので、肝心なところを見てない説もあり、その辺は割り引きたいが、まず印象まで。 Jubatus http://jubat.us/ 基本的なラインは、言ってみれば、分散CEP+機械学習というコンセプト。（ある程度の）リアルタイム性を重視して、データの使い捨てをベースにして、スケールアウト戦略を選択している。溜めてから学習するのではなく、ストリーミングしながらの学習というコンセプトに見える。アーキテクチャはN:Nな感じ。耐障害性はどこまで見ているのか？ってのはあるが、まずはスループットを優先したのと、ボトルネックが発生しないように割と気を使っているのはわかる。おそらくもっとも重視したのは「使い勝手」だろう。 まず、現状の日本のITでは機械学習は使いこなすだけ精一杯という中で、アーキテクチャや仕組みまで考えたフレ
Label propagation (ラベル伝播アルゴリズム) は半教師あり学習モデルの基本的な手法のひとつです. こいつを Pregel のオープンソース実装であるところの Apache Giraph で実装しました. ref: https://github.com/smly/java-Giraph-LabelPropagationLabel propagation algorithm は半教師あり学習モデルの基本的な手法のひとつです. 少量の vertex に class label が割り当てられた状態で, グラフ上の unlabeled な vertex に class label を割り当てることができます. 自然言語処理でよく活用されていて, どのくらい活用されているかというと, 今年の自然言語処理のトップカンファレンスである ACL のベストペーパーでも使われましたし, PF
2011/10/16 "第14回 データマイニング+WEB 勉強会＠東京"を開催しました。 第14回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 14th)−大規模分散データマイニング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi [Twitter:@hamadakoichi] オープニングト
Sangchul Song and Thu Kyaw discuss machine learning at AOL, and the challenges and solutions they encountered when trying to train a large number of machine learning models using Hadoop. Algorithms including SVM and packages like Mahout are discussed. Finally, they discuss their analytics pipeline, which includes some custom components used to interoperate with a range of machine learning librarie
Weka入門 決定木とデータセットの作り方 インストール手順 まずは決定木を作ってみよう 入力データを用意しよう 分析結果の意味を知ろう tips キーワード： データマイニング weka 決定木 この文書を自由に改変、転載することを許可します。連絡不要 ● Wekaインストール Weka入手場所 http://www.cs.waikato.ac.nz/~ml/weka/index_downloading.html Windows版では2種類ダウンロードできるファイルがあるが、これはJavaが含まれているかどうかの違いです。 お手持ちのPCにJava環境が入っていればwithout the Java VMの方を。 Javaが入っているかどうかわからない、もしくはJavaのバージョンが1.4より古い場合は includes Java VM 1.4の方をダウンロードして下さい
最近はものすごい数のライトノベルが出版されている。中でも大手の電撃文庫では毎月１０冊以上もの新刊が発売されるためどれを買ったらいいか困ってしまう。 そんなときこそ機械学習の出番ではないか！というわけで先日作った簡単分類ツールfutabaを使って今月の電撃文庫はどれを購入すべきかを判定してみたよ。 具体的なツールの使い方は前回の記事を参考にしていただくとして、本記事では結果だけをまとめておく。興味が湧いたらぜひ分類ツールfutabaを使ってみてほしい。 簡単分類ツールfutabaを作ってみた - EchizenBlog-Zwei 電撃文庫＆電撃文庫MAGAZINE さて、まず学習データだが、これは８月分の電撃文庫新刊データを用いる。 新約 とある魔術の禁書目録（2） デュラララ!!×10 ソードアート・オンライン8 ゴールデンタイム3 新フォーチュン・クエスト（18） 断章のグリムXV 主人
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
統計的機械学習入門(under construction) 機械学習の歴史ppt pdf 歴史以前 人工知能の時代 実用化の時代 導入ppt pdf 情報の変換過程のモデル化 ベイズ統計の意義 識別モデルと生成モデル 次元の呪い 損失関数, bias, variance, noise データの性質 数学のおさらいppt pdf 線形代数学で役立つ公式 確率分布 情報理論の諸概念 (KL-divergenceなど) 線形回帰と識別ppt pdf 線形回帰 正規方程式 正規化項の導入 線形識別 パーセプトロン カーネル法ppt pdf 線形識別の一般化 カーネルの構築法 最大マージン分類器 ソフトマージンの分類器 SVMによる回帰モデル SVM実装上の工夫 クラスタリングppt pdf 距離の定義 階層型クラスタリング K-means モデル推定ppt pdf 潜在変数のあるモデル EMアル
決定木を使って辞書なしで単語を抽出する手法に関する論文を読みました。Automatic Corpus-Based Thai Word Extraction with the C4.5 Learning Algorithm はじめに日本語と同じく、単語の分かち書きがされない言語にタイ語があります。従来は人手による辞書の整備が行われていましたが、網羅性に限界があるのとコストがかかるので自動化したいというニーズがあります。 アプローチ日本語の形態素解析では系列ラベリングとして定式化されることが多いですが、この論文ではコーパス中の全部分文字列を考え、ある部分文字列が単語か非単語かを二値分類するというアプローチをとっています。このことは、前後の文脈によって単語区切りが異なることがないという前提が置かれていることになります。実際に使うときは抽出した単語を辞書として最長一致するのかな。 決定木単語と非単
PFNは，「現実世界を計算可能にする」をVisionとして，膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています． この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。 本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします！ イベントサイト: https://ml-kubernetes.connpass.com/event/239859/
Multivariate, Sequential, Time-Series, Domain-Theory
最近SVM(Support Vector Machine)周りの復習をしているので有名どころのツールと、それに関連する論文をまとめた。完全に個人用メモなので抜けがあるかも。あくまで参考程度に。 ツールは色々あるけれど使うのが目的なら定番のsvmlightやlibsvmがいい気がする。最近だとliblinearが流行っている。SVMといえばカーネル関数とマージン最大化だけれど、最近ではカーネルは線形でいいやという流れになってきている？個人的にはpegasosがわかり易い線形カーネル＋オンライン学習になっていて自分で作って遊ぶには良いと思っている。またsvmsgdは"straightforward stochastic gradient descent"と言っているものの非常に高性能で、それを実現するための様々な工夫が施されていて実装を学ぶ上で大変参考になる。ここには挙げていないけれど、線形カ
最近では企業における機械学習の認知度も高まっていてエンジニアの求人募集でも「望ましいスキル：機械学習」というのをよく見かける。特にweb系の企業だと当たり前のように機械学習を活用した魅力的なサービスが生み出されているようだ。 そんなわけで先日書いた機械学習の入門記事もそれなりに好評で末尾の教科書リストも結構参考にしていただいた様子。ということで、これから機械学習をはじめる人のためにオススメの教科書を10冊ほどピックアップしてみた。 幸いにして機械学習の分野には良書が多い。5年前はナイーブベイズすら知らなかった私も、これらの教科書のおかげでなんとか機械学習を使えるようになりました！(個人の体験談です。効果には個人差があります) 参考: 機械学習超入門 〜そろそろナイーブベイズについてひとこと言っておくか〜 - EchizenBlog-Zwei 最初に既存の機械学習の教科書まとめを挙げておくの
Now, next, and beyond: Tracking need-to-know trends at the intersection of business and technology AI/ML Few technologies have the potential to change the nature of work and how we live as artificial intelligence (AI) and machine learning (ML). Future of the Firm Everything from new organizational structures and payment schemes to new expectations, skills, and tools will shape the future of the fi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く