はじめに この記事では、unslothライブラリを使用して、Mistral-7Bモデルをファインチューニングする方法について解説します。unslothは、メモリ使用量を大幅に削減しながら、高速にファインチューニングを行うことができるライブラリです。 Mistral-7Bは、そのサイズにおいて最も強力な言語モデルの1つであり、以下の特徴を持っています: Llama 2 13Bのすべてのベンチマークで優れた性能を発揮 多くのベンチマークでLlama 1 34Bを上回る性能 英語のタスクでの良好な性能を維持しながら、コードタスクでCodeLlama 7Bに匹敵する性能 Grouped-query attention (GQA)を使用した高速な推論 Sliding Window Attention (SWA)を使用した低コストでの長いシーケンスの処理 こちらの記事もおすすめ 機械学習のモデル開発に
ボードゲームやアクションゲーム、各種ツールやシミュレーションなどさまざまなソフトが100日間に作られた いままで数えきれないほどのプログラマーに会ってインタビューもさせてもらってきたが、久しぶりに若いプログラマーの話を聞いてきた。ここ1、2年では U22グランプリの男子中学生や全国小中学生プログラミング大会の受賞者たちだが、今回は、ChatGPTを使ってプログラムを書きまくった女子大生である。 彼女は X（Twitter）の自分のアカウントで1日1本のソフトを100日間連続で作るというイベントをやっていて「おっ、頑張っているな！」と思って応援していた。「こんなゲームを作ってほしい」などとリクエストを出したりもしていたのだが、どうも私が想像していたものと内容もやり方も違っていたようである。 目下、ソフトウェア産業の最大のテーマは「我々は人間の言葉でプログラムを書くようになるだろうか」というこ
ポイントは、GPTの登場により誰でもAIによる個別指導を受けられる環境が整いつつあることです。24時間パーソナライズされた学習サポートを提供できるAI家庭教師は、学習効率を飛躍的に向上させる可能性を秘めています。 そこで今回は、誰でも簡単にGPT-4を活用したAI家庭教師を作る方法を実際にご紹介します。 作ったもの「英作文」のサポートを行うAI家庭教師のデモをつくりました。 上記のAIは下記のやりとりが可能です。 ・ランダムにAIがお題を出題し、生徒が英作文を行う ・生徒が指定したテーマに応じて、AIがお題を出題する ・生徒の英作文をAIが添削 ・生徒の英作文の結果を踏まえて、生徒の苦手ポイントをAIが分析する 会話の様子会話の様子作り方miiboを利用して、GPT-4で動くAI家庭教師を作ります。無料で利用開始できるので、アカウントを作成しましょう。 ※1 miiboは本記事を執筆してい
５文科初第 758 号 令和５年７月４日 各 都 道 府 県 教 育 委 員 会 教 育 長 各 指 定 都 市 教 育 委 員 会 教 育 長 各 都 道 府 県 知 事 附 属 学 校 を 置 く 各 国 公 立 大 学 長 殿 小中高等学校を設置する学校設置会社を 所轄する構造改革特別区域法第１２ 条 第１項の認定を受けた各地方公共団体の長 文部科学省初等中等教育局長 藤 原 章 夫 「初等中等教育段階における生成 AI の利用に関する暫定的なガイドライン」の 作成について（通知） 教育現場における生成 AI の利用については様々な議論があるところですが、 差し当 たり文部科学省では、生成 AI に関する政府全体の議論や G7 教育大臣会合における認 識の共有、幅広い有識者や、中央教育審議会委員からの意見聴取を経て、主として対 話型の文章生成 AI について、 学校関係者が現時点での
＜不正行為に対処しつつ積極的に授業に活用すれば、的確な問いを立て、AIを使いこなす新時代の人材を育成できる＞ チャットGPTの計り知れない威力に対し、職業柄私が最初に警戒したことの1つは、公表されたあらゆる情報を瞬時に読み取り、魅力的な断片を掘り出して関連付け、独創的な発見をもたらすその能力だ。それは生涯をかけて知識を蓄積してきた、優れた理解力と記憶力の持ち主にしかできなかった技である。 米ジョージタウン大学で教える私の講義について、学生たちからの評価には「教科書には書かれていないような面白いこぼれ話に驚いた」といった感想がつづられている。それは専門分野の膨大な知識に裏打ちされた「面白さ」だ。例えばミラード・フィルモア第13代米大統領が自分は正規の教育を受けておらず、人類の知的進歩にさして貢献していないという理由で英オックスフォード大学の名誉学位を辞退したこと。ユリシーズ・グラント第18代
参加条件： Deep Learning基礎講座修了か、もしくは同等レベルの知識を持つこと 基本的に毎週輪読会に参加できること 発表が割り当てられた場合，発表できること 参加方法： 下記のフォームをご記入下さい。（参加には基本紹介が必要となります。） https://docs.google.com/forms/d/e/1FAIpQLSfnt_PUYPFAmanhSENzmGpVbYn5-aopHWHy2LeeDLP0V1iI7g/viewform 輪読会の進め方： 2020年8月現在，会議は原則オンラインで行っています（コロナの影響）．オフラインイベントの復活時期は未定です． 大枠：45分,小枠20分×2の合計3件です。 時間は質疑込みの時間です。 基本は最初は小枠の発表に割り当てます。その中の一部メンバーに大枠の担当を依頼させていただきます。（大枠で話したいという方、何か話したいテーマがあ
学生の皆さんへ 2023年5月11日 学長 樺山祐和 現在、ChatGPTをはじめとした生成系人工知能（生成AI）についての議論が高まっています。そして、今後ますます技術が進み、また社会にも深く広く浸透していくことが予想されます。 美術大学としてはよりよい「学び」を得てもらうべく、こうした新技術を柔軟に活用し、また危惧される側面にも十分に配慮し、制作や研究に真摯に向き合ってもらいたいと期待しています。このメッセージでは、以下の6点を軸に、生成AIをめぐる現状と課題について大学としての見解を記述します。 身近なツールとなってきた生成AIを、まずは自分の目で確かめてみよう。 生成AIの問題や可能性についてより深く考えていこう。 個人情報や機密情報、また悪意のある内容の入力は絶対にしてはいけません。 レポートや論文に、生成AIの回答をそのまま用いて提出することを禁止します。 生成AIを引用すると
「新しい能力に突然目覚める」のは物語の主人公だけではないようです。 Googleの研究部門（Google Research）とスタンフォード大学（Stanford University）などで行われた研究によって、会話型AIを成長させていくと、会話以外の新能力を訓練なしに突然、獲得することが示されました。 chatGPTのような会話型AIは本来、人間と会話するために作られましたが、ここ数年の研究によって、会話機能以外の意図しなかった能力が存在することがわかってきました。 研究者たちはこのようなAIの大規模化による新規能力獲得を「創発」と定義しており、小規模AIを積み上げるだけでは起こらない現象だと述べています。 ただ現在、どのくらいのAIの規模で、どんな新規能力が現れるかは、発見されるまで知ることができず、それぞれの能力値に上限が存在するのかさえ不明となっています。 もしかしたら将来的に、
質問のコツ 質問内容は抽象的な言葉よりも具体的な言葉を選ぶようにすると、回答の精度がより上がります。 回答内容に対して、更に質問を繰り返して深掘りしていくと理解度が高まり効果的です。 「あなたはプロのエンジニアとして振る舞って下さい」などと最初につけるとよりそれっぽくなります。 文章が長くて途中で終わってしまう場合は、「続き」と入力すると続きからの回答をしてくれます。 わかりやすく解説してもらいたい時は「小学生でもわかるように解説して下さい」などとつけるとわかりやすい回答が返ってきます。 「私はプログラミング初心者です」など自分のレベル感を付けると、レベルに応じた回答になります。 「コードブロックだけで返事をしてください」とつけるとコードだけで回答してくれます。 ロードマップ(カリキュラム)編 まずは、目標に向けてどういった勉強をすべきかというロードマップ(カリキュラム)を提案してもらいま
人工知能を学ぶためのロードマップ このページでは、人工知能や深層学習を学んだことのない方を対象に、 それらを学ぶためのロードマップを紹介しています。 本ロードマップでは達成目標として、 「研究者」「データサイエンティスト」「エンジニア」「ビジネス」の 4つの職業ごとに4つのレベルを設けています。 まずはレベル0として、人工知能についての基礎的な知識を学びましょう。 技術に触れる（学習想定時間：1時間） まずは最新のAI技術に触れて，AIによってどのようなことができるのかを確認してみましょう． メジャーなサービスを含めいくつか紹介します． ・ChatGPT ChatGPT すでに利用したことがある方が多いかと思いますが、OpenAIが開発・運営する大規模言語モデル（LLM）チャットボットです。LLMでは他にGoogleのGemini、AnthropicのClaude、Mistral AIなど
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く