概要 こんにちは、yoshimです。当エントリは「Machine Learning Advent Calendar 2017」の11日目のエントリです。 今回は教師あり学習の１手法である「決定木分析（decision tree）」をご紹介します。 目次 1.決定木分析とは 2.特徴 3.処理の流れ 4.情報利得と不純度 5.剪定方法 6.決定木分析におけるメジャーなアルゴリズムの紹介 7.まとめ 1.決定木分析とは まず、決定木分析とはなんなのか、ということをざっくり説明しようと思います。 決定木分析は、「段階的にデータを分割していき、木のような分析結果を出力する」ものです。 言葉だけではイメージがつかないと思いますが、具体的には下記のような分析結果を出力します。 機械学習に興味がある方なら見たことがあるのではないでしょうか？ 決定木分析ではこの画像のように上からデータを分割していき、デー
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
【 参考 】時系列解析の実行手順 について python for economist[第6回]: statsmodelsでかんたん回帰分析 （Googleブックス） 横内 大介・青木 義充（共著）『現場ですぐ使える時系列データ分析～データサイエンティストのための基礎知識～』技術評論社 経済企画庁経済研究所編集 経済分析 「計量経済分析再考 -より信頼性の高いモデル 作りのための推定手続き- 」 第112号 昭和63年7月 【 以下の流れ を 通しで 行ってみます 】 （ ARIMAモデル 実行した後に、モデル残差系列に自己相関の有無をチェック後、残差棄却できなかったため、GARCHモデルを実行します。 ） 1. データの定常性検定 2. 定常データへの加工 3. ARIMAモデル推計 4. 残差の系列相関のチェック 5. （G）ARCHモデル推定 【 データ取得 】 pandas.web_
画像処理を行っていて、特徴量抽出に scikit-learn の PCA を使いましたが、様々な処理を行った後その結果から画像を復元したい（参考（これをpythonでやりたい）：R prcomp での主成分分析結果から元データを復元する）。 具体的には以下のようなコードになっています。 from sklearn.decomposition import PCA from PIL import Image import numpy as np # loading image and convert to gray-scale imgAry = np.asarray(Image.open('image.png').convert('L')) print imgAry.shape # (224, 224) # doing pca decomposition pca = PCA(n_compone
お知らせ 2023/5/20に大幅なコースの改訂作業を行いこちらのページはhttps://github.com/tsjshg/udemy-pyds へ移動となりました。 --- 以下の内容は古いコースの資料です。 --- コースのご案内 リンクはHTML形式のnotebookを表示します。右にあるアイコンからは、ipynb形式のファイルをダウンロードできます。 動画を公開してから時間が経ったため、ライブラリのバージョンが上がってしまい、そのままでは動かないコードが多くなってきました。申し訳ありません。順次動画を差し替える予定ですが、ひとまず[修正版]と書かれたリンクからあたらしいバージョンに対応したipynb形式のファイルをダウンロードできます。ファイル名に_rev_が付いています。最近学習をはじめた方はこの修正版をご活用ください。 一括ダウンロードはこちらから numpyを知ろう Lec
前に決定木の可視化をしようと思ってやってなかったのでやっておきます 決定木のライブラリは例のごとくscikit-learnを使う pythonの機械学習ライブラリscikit-learnの紹介 - 唯物是真 @Scaled_Wurm 決定木とは 決定木は教師あり学習で使われるモデルで、ルールを木として学習します 例えば身長、体重から性別を予測したい場合、身長が170cm以上で体重60kg以上なら男、みたいなルールを学習します 性能はあまりよくないモデルですが、人間にもわかりやすいルールを出力する(他のモデルと比べれば)という特徴があります 簡単に説明すると、ある変数が一定値以上であるかという条件で分けた時に、データのラベル(性別なら男女)ごとの分布がどちらかに偏るような条件で木を作っていきます 予測するときには、データが条件を満たしているノードをたどって木の一番下の葉ノードまでいって、葉ノ
主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま
はじめに 鈴木たかのりです。 前回に引き続きPythonエンジニア養成読本という書籍の読書会イベントについてレポートします。 第3回の読書会は7月23日(木)にアライドアーキテクツ株式会社の会議室で開催されました。 当日はだいたい以下のタイムテーブルで進めました。 19:00-19:15 参加者の自己紹介 19:15-21:00 「第4章 PyData入門」 21:00-22:00 ビアバッシュ（ビールとピザでの参加者懇親会） 今回も過去2回と同様に書籍の読みあわせはせず、ページ数の関係で削ったところや、出版後の追加情報を中心に解説を行いました。 写真1 Pythonエンジニア養成読本読書会03 自己紹介 いつものように参加者全員で自己紹介を行いました。全部で21名の方が参加してくださいました。 自己紹介の中では3回全て参加されている方から「集合知プログラミングのコードがだんだん読めるよ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く