はじめに 機械学習のコードを書いているエンジニアの方はoptimizerに何を選べばいいか迷ったことがあると思います。 とりあえず有名なモデルでよく使われているAdamやAdamWをよく考えずに選んでいませんか。 本記事ではそれぞれのoptimizerのパラメータ更新式の定性的な意味について、最急降下法からAdamWまでの変遷とともに説明したいと思います。 optimizerの発展の流れ 最急降下法 まずは、最も基本的なパラメータ更新手法である、最急降下法について軽くおさらいする。 パラメータ更新式 \bm{G}_t = \nabla f(\bm{\theta}_{t-1}) \bm{\theta}_t = \bm{\theta}_{t-1} - \gamma \bm{G}_t ここで\gammaは学習率。 トレーニングデータに対する損失f(\bm{\theta})を最小化するパラメータ\
以下の記事を見て、早速「Open interpreter」を試してみたので、使い方や始め方をまとめておきます Open Interpreterとは Open Interpreterは、GPT-3.5、GPT-4、Code Llamaなどの大規模言語モデル（LLMs）を活用して開発されたオープンソースのツールです。 このツールは、OpenAIが提供するChatGPTの「Advanced Data Analysis(旧Code Interpreter)」のオープンソース版とも言える存在で、Python、Javascript、Shellなどのプログラミング言語のコードを自然言語による対話を通じてローカル環境で実行することができます。 このツールの最大の特徴は、ChatGPTの「Advanced Data Analysis」と違いローカル環境で動くため、ファイル容量やネット接続への制約がなく、Ch
ChatGPTのヤバいところは、論理処理が必要だと思っていたことが、じつは多数のデータを学習させた確率処理で解決可能だと示したことだと思います。 たとえば、このように正規表現にマッチする文字列を生成するには、特別に専用の論理処理が必要だと思っていました。 前のブログのときには特殊処理が必要だと考えてましたね。 ウソはウソと見抜ける人じゃないとChatGPTを使うのは難しい - きしだのHatena けど、123_45678world.mdはマッチするのにマッチしないと言っているので、そのような誤りが入ることを考えると、どうも確率処理だけでやっているようです。 考えてみると、3層以上のニューラルネットであれば論理素子を再現できるので、ディープラーニングで論理処理を模倣することは可能なんですよね。 バックプロパゲーションでニューラルネットの学習 - きしだのHatena そもそも論理は、多数の
対象読者 Pythonの基本的な文法を理解しておりデータ解析のスキルアップに取り組みたい方 サンプルの動作確認環境 MacOS 10.13 Anaconda 5.1 Python 3.6 Jupyter Notebook 5.4 Pythonとデータ解析環境の概要 本連載ではPythonによるデータ解析について解説していきます。まずスクリプト言語としてのPythonとデータ解析環境の概要を確認します。 データ解析に適したスクリプト言語 データを集めたり加工したりする過程でよく使われるのがスクリプト言語です。データ解析の場面で必要なデータはさまざまな場所に存在してます。初めて見るデータを扱うことも珍しくありません。サーバーからダウンロードする場合もあれば、API経由で取得するものもあります。他のツールに受け渡すために、加工（前処理）が必要なデータもあります。スクリプト言語はこのような課題を解
概要 大井競馬場に行く機会があったので、機械学習を使って競馬の結果を予測できるかをやってみました。 その結果、帝王賞で一位を当てることができたので、記事を書きます。 かなり適当な予測なので、遊びとして見てもらえたらと思います。 証拠 当たったという証拠に、記念でとった馬券画像。 機械学習で予測したものと、パドックを見て予測したものと、２つ買いました。 (びびって複勝、しかも300円) 問題の設定 大井競馬場で行われる帝王賞の１位のみを当てます。 競馬には、色々な馬券の買い方がありますが、今回は簡単でシンプルな問題設定としたかったので、1位のみを予測することにしました。 データの取得 教師あり学習を行うので、過去の競馬結果のデータが必要です。 こちらのサイトからデータをクローリングしました。 南関東4競馬場公式ウェブサイト レース情報のページから、レースに出る馬の過去情報があるページへのリン
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近バーチャルユーチュ－バーが人気ですよね。自分もこの流れに乗って何か作りたいと思い、開発をしました。 モーションキャプチャー等を使って見た目を変えるのは かなり普及しているっぽいので、自分は声を変えられるようにしようと開発しました。 やったこと キズナアイさんとねこますさんの、それぞれの声を入れ替えられるようにしました。これによって、ねこますさんのしゃべった内容を、キズナアイさんの声でしゃべらせることができます。(逆も) 機械学習手法の一つであるCycleGANを用いて、変換するためのネットワークを学習しました。 パラレルデータ(話者
コンピュータの専門書としては異例の大ヒットを記録した『ゼロから作るDeep Learning』の続編の公開レビューを行います。 レビュー期間は2月28日（水）から4月13日（金）までの1ヶ月半です。 レビューはDropboxのコメント機能を利用して行います。 Dropboxアカウントをお持ちの方はどなたでも参加可能です。 https://www.dropbox.com/sh/ev6a40fbagw2qtz/AABF2zxkvo12H7-b25eYxsBKa?dl=0 いただいた指摘内容は、著者と出版社で相談のうえ取捨選択して原稿へ反映させていただきます。 レビューに貢献していただいた方のお名前（あるいはアカウント名）を、本書の「謝辞」の欄に記載させていただきます。もちろん、記載の有無はレビューアの意思に従います。 なお『ゼロから作るDeep Learning ❷』は、全国の有名書店さんやA
脳の神経回路の構造を模倣 ディープラーニングは、大量のデータを学習するために、人間の脳の神経回路の構造を模倣（モデル化）した情報処理の仕組みであるニューラルネットワークを用いる。図3のニューラルネットワークは、「入力層」「隠れ層」「出力層」という3層で構成している。また、学習データは入力データとなる手書き文字の画素データと、正解データがセットになっている。 このニューラルネットワークのモデルを学習させるには、まず手書き文字画素データをピクセル単位に分割した上で、各ピクセル値を入力層に入力する。図3のモデルでは縦横28ドットで分割していることから、784個が入力層に並ぶ。 入力データを受け取った入力層は、受け取った値に「重み付け」をした上で、後段にある隠れ層のニューロン（神経細胞。CPUのような役割を担う）に伝達する。 同様に隠れ層の各ニューロンは、入力層から受け取った値をすべて加算し、その
マイクロソフト、AI研究者向けに“10万件”のデータセット「MS MARCO」を無償公開：認知システム開発、汎用AI研究の推進に向け マイクロソフトが、AIシステムの訓練に使える10万件のデータセット「MS MARCO」を公開した。匿名化された実際のデータを使った質問と回答のセットが含まれ、AIを用いた認知システムの開発を支援できるという。 米マイクロソフトは2016年12月16日（米国時間）、AI（Artificial Intelligence：人工知能）研究者向けに10万件のデータセット「MS MARCO」（Microsoft MAchine Reading COmprehension）の無償提供を開始した。MS MARCOは、匿名化された実際のデータを使った質問と回答をセットにした例となるデータセットで、AIを用いて人間のように質問を読んで回答できる認知システムの研究や開発に利用でき
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
%matplotlib inline import matplotlib.pyplot as plt import matplotlib.cm as cm import numpy as np import seaborn as sns import numpy.random as rd m = 10 s = 3 min_x = m-4*s max_x = m+4*s x = np.linspace(min_x, max_x, 201) y = (1/np.sqrt(2*np.pi*s**2))*np.exp(-0.5*(x-m)**2/s**2) plt.figure(figsize=(8,5)) plt.xlim(min_x, max_x) plt.ylim(0,max(y)*1.1) plt.plot(x,y) plt.show() この図は、平均$\mu$、標準偏差$\sigma$
こんばんは。夜の@oscillographです。 最近DMMアダルトがAPIを公開しました。 つまり、プログラムで直接データを取得できるようになったわけです。 ということで、今回はDMMアダルト（動画）の全タイトルを取得して 形態素解析を行うことによって日本のAVタイトルの特徴を分析しよう ということになりました。 手順としては、 DMM（ビデオ）のメーカーページを「あ」～「ん」までHTMLで取得 メーカーが特定タグに囲われていたので、正規表現パターンマッチで全メーカーを取得し、メーカー羅列をテキストに保存 テキストを読み込みながら各AVメーカーごとにapiを用いてAVタイトルを展開し、全メーカーのタイトルを取得 タイトルについて形態素解析を行うことによって単語を集計 正規化（全体の数で割ることによって割合で表す） という感じでやりました。 とりあえず、集計結果です。 上位３０位を抜き出し
米スタンフォード大学は、今秋から同大学で行われているコンピュータサイエンスの講義のうち、3つのコースをオンラインで無料公開することを発表しました。 公開されるのは、「Machine Learning」（機械学習）、「Introduction to Databases」（データベース入門）、「Introduction to Artificial Intelligence」（人工知能入門）の3コース。どのコースも今年の10月に開講し12月に終了する3カ月間の予定。コースによっては実際の講義とほぼ同様の宿題も用意され、提出すると自動採点してくれるようです。 機械学習のコースを担当するAndrew Ng准教授は発表の中で次のようにコメントしています。 “Both in the United States and elsewhere, many people simply do not have a
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く