2025-03-10, 言語処理学会 第31回年次大会でのチュートリアル「言語モデルの内部機序：解析と解釈」のスライドです。
2025-03-10, 言語処理学会 第31回年次大会でのチュートリアル「言語モデルの内部機序：解析と解釈」のスライドです。
国立国語研究所 次世代言語科学研究センター開所式及び第1回研究会 で用いたスライドです
はじめに OpenAIのChatGPTにScheduled tasks(日本語名：タスク)が追加されました。 生成AIをスケジュール実行していくのは、今後整備されていくであろうAIエージェントへの布石と考えられます。 AIが人間の代わりに考えながらタスクをこなしていく、これをスケジュール化していく世界観がすぐそこにやってきそうです。 使い方 モデルを「ChatGPT タスク」に設定します。 その上で、時間になったらやってほしいことを入力します。 で、初回は通知の許可設定を求められます。「許可」をクリックします。これで設定完了です！ 実際にタスクが実行されて、受信したメールはこんなかんじ。「View message」をクリックするとChatGPTへ遷移して実行結果を確認できます。 遷移した結果は、こんなかんじ。 設定したタスクの確認方法 アカウントの写真や画像をクリックして、「タスク」をクリ
人工知能（ＡＩ）の分野には多くの不確実性があるが、明確だと思われていたことが１つだけあった。より大規模で高価なシステムほど優れた結果を生み出すということだ。写真は、アジア太平洋経済協力会議（ＡＰＥＣ）ＣＥＯサミットに出席したＯｐｅｎＡＩのサム・アルトマンＣＥＯ。２０２３年１１月、米カリフォルニア州サンフランシスコで撮影（２０２４年 ロイター/Carlos Barria） ［ニューヨーク １３日 ロイター Breakingviews］ - 人工知能（ＡＩ）の分野には多くの不確実性があるが、明確だと思われていたことが１つだけあった。より大規模で高価なシステムほど優れた結果を生み出すということだ。だから生成ＡＩ企業オープンＡＩは絶え間なく資金調達を行い、巨大ＩＴ企業はＡＩに多額の資金を投じてきた。しかし今、この原則が根底から崩れつつあるようだ。 ソフトウエアを訓練するための新しいデータが底を突き
人工知能（AI）技術の急速な発展に伴い、その影響力が社会のあらゆる面に及ぶ中、AIの政治的中立性に関する懸念が浮上している。最新の研究によると、ChatGPTをはじめとする大規模言語モデル（LLM）の多くが、リベラル寄りの政治的傾向を示すことが明らかになった。この発見は、AIが私たちの日常生活や意思決定に与える影響について、重要な問いを投げかけるものと言えるだろう。 24のAIモデルが示す左寄りの傾向 2024年7月31日、PLOS ONE誌に掲載された研究で、ニュージーランドのオタゴ・ポリテクニックのDavid Rozado氏が、24の最先端LLMを対象に政治的傾向を分析した結果が報告された。この研究では、OpenAIのGPT-3.5やGPT-4、GoogleのGemini、AnthropicのClaude、xAIのGrokなど、著名な企業が開発した多様なAIモデルが調査対象となった。
はじめに 背景と課題 システム概要 ワークフローの詳細 動画文字起こし (Gemini, GPT-4o) 文字起こしの議題単位の分割 (Claude 3.5 Sonnet) 議題単位での要約作成 (Claude 3.5 Sonnet, GPT-4o) 出力 実装上の工夫と課題 結果と今後の展望 おわりに はじめに こんにちは。enechainで統計・機械学習モデルの構築やLLM（大規模言語モデル）の活用推進を担当している@udon_tempuraです。 近年、GoogleのGeminiなど生成AIの発展が目覚ましく、多くの企業がこれらの技術を業務に取り入れようとしています。 私たちenechainも例外ではなく、積極的にLLMの活用を進めています。 今回はその活用例の1つとして、複数のLLMを使い分けて構築した「会議動画の要約作成ワークフロー」についてご紹介します。 このワークフローでは会
GPT-4やLlama、Claudeといった大規模言語モデルは、2017年にGoogleの研究者が発表した「Transformer」というフレームワークの上に構築されています。このTransformerをベースにしたAIモデルがどのように機能するのかを視覚化したツール「Transformer Explainer」が、ジョージア工科大学のPolo Club of Data Scienceによって公開されています。 Transformer Explainer https://poloclub.github.io/transformer-explainer/ Transformer Explainerの見方は、以下のムービーを見ると一発でわかります。 Transformer Explainer: Learn How LLM Transformer Models Work - YouTube Tr
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
これはなに？ 自著 「つくりながら学ぶ！生成AIアプリ＆エージェント開発入門」 に掲載するために作ったOpenAI・Anthropic・GoogleのLLMの一覧表です。 各社が新しいモデルを出すたびに本の内容が陳腐化するため、この記事に最新の情報を更新していきます。 各社のモデルの主要諸元・費用に加えて、自分の印象を書いてあります。 性能の目安としてChatbot Arenaのスコアを参考までに添付しています これはあくまで参考用かつ英語での評価なので、スコアが一番高いものがいい、もしくは低いからダメというわけではありません。 少なくともこの記事に掲載されているモデルは、スコアが低いものでも単純な翻訳などでは十分な性能を持っています。そして何より高性能モデルとは比較にならないほど高速です。 用途や使用言語によって試してみて最適なものを選ぶのが良いでしょう [PR] 宣伝 本の紹介は↓に書
Devin入門と最近のアップデートから見るDevinの進化 / Introduction to Devin and the Evolution of Devin as Seen in Recent Update
OpenAIは、使いやすい生成AIツールを一般向けに提供することで知られているが、開発者や企業が自社の特定用途向けにAIモデルを必要とする場合に向けても包括的な製品を提供もしている。OpenAIは米国時間4月4日、「Custom Models Program」の拡張とファインチューニングAPI向け6機能を発表した。 ファインチューニングは、特定の用途やニーズを満たすようAIモデルをカスタマイズするために時間を要するプロセス。ファインチューニングはAIモデルが意図されたゴールをよりよく達成するのを支援するだけでなく、コスト削減とレイテンシー低下も可能にする。 場合によっては、必要なカスタマイズの量がファインチューニングで提供できるものを超えることもある。例えば、組織が非常に大規模な独自のデータセットを持っている場合がこれに該当する。この問題に対処するため、OpenAIは2023年11月に「C
「ChatGPT」の次に来るサービスは何か？ 注目を集める「AIエージェント」 従来の生成AIとの違いとは：小林啓倫のエマージング・テクノロジー論考（1/4 ページ） 2022年11月に登場した米OpenAIのチャットAI「ChatGPT」は、約2カ月で1億人のユーザーを獲得し、生成AIの実力をまざまざと見せつけた。あっという間に人々の話題を独占し、いまやChatGPTや生成AIという単語をニュースで見かけない日はない、と言っても過言ではない。そうなると気になるのが、「ChatGPTの次にくるのは何か」という点だ。 気が早いといわれるかもしれないが、ChatGPTが一夜にして人々の未来予想図を書き換えてしまったのを見ると、できる限り早く次のトレンドを把握したいのが人情というものだろう。そうした「次」の候補として有力視されているものの一つが「AIエージェント」（AI Agent）である。 「
米OpenAIのチャット型AI「ChatGPT」を基に、言語学習やカスタマーサポートなど、特定用途向けにカスタマイズしたAIを作成できるサービス。作成したAIを集めたストアで、広く提供することも可能。 米OpenAIは2023年11月、同社のAIチャットサービス「ChatGPT」をカスタマイズして独自のAIチャットサービスとして提供できる機能「GPTs」の提供を開始した。GhatGPTの有償版サービス利用者向けに提供する。 GPTsはChatGPTのスマホアプリからは作成できず、Web版サービスから作成する。プログラミングの知識は不要で、やりたいことをチャットで説明すると、その内容に沿ったGPTsが自動作成される。プレビュー画面で動作を確認しながら、チャットでさらにカスタマイズして、アイデアさえあればGPTsを作成できる。 GPTsはファイルをアップロードしたり、APIを使って外部のデータ
AIベンチャー・PKSHA Technology（東京都文京区）は3月28日、「RetNet」技術を活用した日英大規模言語モデル（LLM）を開発したと発表した。RetNetを使用した日英モデルは世界初で、日本マイクロソフトの技術支援により実現。PKSHA Technologyの上野山勝也代表は「これによって生成AIの活用が一段前に進む」と自信を見せる。 左から、PKSHA Communication、PKSHA Workplaceの佐藤哲也代表、PKSHA Technologyの上野山勝也代表、日本マイクロソフト 執行役員 常務 最高技術責任者の野嵜弘倫さん、PKSHA Technology アルゴリズムエンジニア VPoEの森下賢志さん、PKSHA Technology アルゴリズムリードの稲原宗能さん 今回開発したLLMの最大の特徴であるRetNetとは「Retentive Netwo
アップルの研究チームは3月14日、画像とテキストを理解し処理する能力を持つマルチモーダル大規模言語モデル「MM1」を発表した。今のところ論文のみの公開で、一般公開の時期は明かされていない。 一部ベンチマークではGPT-4Vをも凌ぐ性能を発揮 複数（30億、70億、300億）のパラメータサイズを備えるMM1は、10億以上の画像および30兆語以上のテキスト、GitHubのコード例などの多様なデータセットを用い、教師なし学習と教師あり学習を組み合わせる独自の方法で学習され、多様なタスクに対して高い精度を示すという。 各種ベンチマークの結果によると、30億および70億パラメーターのモデルはそれぞれのモデルサイズにおいて過去最高を記録。特にVQAv2（画像理解）、TextVQA（画像内のテキスト情報）、ScienceQA（科学知識）、MMBench（マルチモーダル）、MathVista（数学）などの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く