システムプラットフォームチーム SRE id:MysticDoll です。 この記事では、私が作成し現在はてな社内のSlackで稼動中のAI bot、「resident-ai」を紹介します。 resident-ai とは 実行例 仕組み 実装時の課題 システムプロンプトの保存場所 Canvasの取得 bot自身のIDの取得 まとめ ウニウニ！ 締め resident-ai とは resident-aiはSlack上でAIとチャットができるbotですが、特にチャンネルのCanvasを最大限に活用できる点が強みです。 @resident-ai <質問内容など> とリプライすると起動し、その後は実行されているチャンネルのCanvasがAIのシステムプロンプトとして自動的に読み込まれます。これにより、Canvasに記述された情報をAIが理解し、それを踏まえた上で対話を進めることが可能です。 実行例
「世界初のAI搭載イヤホン」と宣伝されているIKKOの「Activebuds」を入手してハッキングしたところ、OpenAIのAPIキーと顧客データを盗み見れてしまったとの報告がありました。 Exploiting the IKKO Activebuds "AI powered" earbuds, running DOOM, stealing their OpenAI API key and customer data. https://blog.mgdproductions.com/ikko-activebuds/ ActivebudsはイヤホンケースにAndroidを搭載したデバイスで、イヤホンケースにあるディスプレイでさまざまなアプリを使うことができます。 ADBがデフォルトで有効化されていたため、PCに接続してDOOMをサイドロードすることが可能でした。 さらに詳しく調べてみると、デバ
米OpenAIは6月11日（日本時間）、新たなAIモデル「o3-pro」の提供を、ChatGPTの有料会員「Pro」「Team」向けに始めた。同社が4月にリリースした「o3」をベースに、長考によって信頼性の高い回答をするよう設計した。数学や科学、プログラミングなどのタスクに強みを持つという。 o3-proをChatGPTで利用する場合、Web検索やファイルの分析、画像入力、Pythonの実行、メモリ機能を活用した返答のパーソナライズなどに対応する。一方、こうした機能に対応するため、回答の完了までには、前モデル「o1-pro」よりも時間がかかる。そのため、回答の速度より信頼性が重要なタスクでの利用を推奨している。 人間の専門家による評価では、科学やプログラミング、データ分析や執筆などのタスクで、o3よりも高い性能を示した。返答の明瞭性や網羅性、正確性、人間による指示を守る能力についても、o3
はじめに こんにちは、GMO Flatt Security株式会社セキュリティエンジニアの石川(@ryusei_ishika)です。 近年、ChatGPT や Gemini などの大規模言語モデル（LLM）をはじめとする生成 AI の活用が急速に進んでいます。その一方で、これらの AI モデルに対する新たな攻撃手法である「プロンプトインジェクション」が注目を集めており、そのセキュリティリスクが問題視されています。 この記事では、プロンプトインジェクションが実際にどのような脅威となり得るのか、具体的な事例を交えながらそのリアルなセキュリティリスクを解説します。さらに、開発者や経営者が取るべき具体的な対策についても、分かりやすくご紹介します。 また、GMO Flatt Securityは日本初のセキュリティ診断AIエージェント「Takumi」や、LLMを活用したアプリケーションに対する脆弱性診
タイトルでもうオチてる感じがしますが、API仕様書を読み込むMCPサーバーを自作したところ、開発が爆速になったので紹介します。普段Androidのアプリ開発をしている人間です。 MCPとは？ LLMに対してコンテキストを与えるためのプロトコルです。 今回はAPI仕様書を読み込むMCPを作るので、ざっくり言うとClineやClaude for Desktop、GitHub Copilot Agentなど、MCPに対応したツールがAPI仕様書に基づいてコードを書いてくれるようになります。 何が嬉しいのか？ 例えば、以下のような質問・指示ができるようになります。 決済に関連するAPIを列挙し、Markdown記法でまとめて ドメインクラスを作りたいので、User をKotlinのdata classで出力して Androidアプリの NotificationRepository.kt に書いてあ
ココピー (cocopy) というブラウザ拡張機能がある。 chromewebstore.google.com Webページを見ていて URL やページタイトルなどをコピー＆ペーストしたくなったとき、ココピーを使うと思い思いの形式でクリップボードへのコピーができて便利だ。 ココピーについてはいろいろな人が紹介記事を書いているのでそれを読んでもらうのがいいと思う。 blog.pokutuna.com motemen.hatenablog.com ココピーは任意の JavaScript コードを実行できる ココピーは現在見ているページの URL・ページタイトル・コンテンツを JavaScript コードでいい感じに整形してからクリップボードに突っ込めるツールだ。 JavaScript コードはユーザーが好き勝手に書くことができる。fetch() を使って外部 API を叩くこともできる。 とい
1. はじめに年末年始は仕事や転職活動で忙しく、恥ずかしながらAnthoropicの発表したMCP (Model Context Protocol)についてはあまり踏み込まずに簡単に眺めているのみに留まっていたモグリです。 色々と落ち着いてきたため、やっとMCPについて勉強しています。 MCPを用いると例えば、現在(2025/03/24)まだ日本では導入されていないWeb検索やBrowser Useの機能をClaudeに組み込めてとても便利だなと思います。 一方で、Claudeにより複雑な作業をさせたいと考えると、Web検索やBrowser Useの機能をもったDeep Researchエージェントを自前で組んで、その結果だけ返すMCPサーバーを建てた方が良い作業が出来るのではないかと考えます。（API利用料は置いておいて。） Claude Desktop + Deep Research
www.youtube.com 昨夜未明、インターネット某所で、プログラミング支援ツール「Cline」と、それを用いたゲーム開発の経験談*1を語り合う会合がありました。 CLINEが持つ、人間の介入を最小限に抑えながら暴走機関車ようにコードを生成する性質を軸に、CopilotやCursorなど既存のAIコーディングツールとの比較や、これまでのコーディングツールのアプローチからの変化、今後の開発における展望も議論されていました。 Clineの性質 ホストの@mizchiさんはClineを「強いパーミッション持って自動で実行されるのでイテレーションの回数が多い」「AIにコーディングのアシスタントではなく主導権を持たせても何とかなるということを気づかせてしまった」と評価していました。Cursorなどと比較してその自律性（相談せず勝手にやっちゃう）に強く惹かれているそうです。 確かに全部読み込ませ
2025年1月24日、OpenAIはウェブ上のタスクを自動実行するAIエージェント「Operator」を公開しました。 ユーザー専用のリモートブラウザを使ってサイトを閲覧・操作し、さまざまなタスクを自動化できます。 現在はアメリカのProユーザー向けの研究プレビュー版として提供されており、OpenAIはユーザーからのフィードバックをもとに機能を改善しながら、将来的にはPlusやTeam、Enterpriseへの展開も検討されています。 「Computer-Using Agent（CUA）」とは？Operatorの中核にあるのが、新しいモデルである Computer-Using Agent（通称：CUA） です。 GPT-4oの視覚的能力と強化学習による推論力を組み合わせることで、 画面上のボタンやフォームといったグラフィカルユーザーインターフェイス（GUI）を解析し、マウスやキーボードとい
とにかくケチりたい、そんな気持ちで作ったツールの話です。 元々開発にCline(Claude Dev)やAiderなどの開発ツールを駆使していました。 ただ、APIの料金が常に心配で、できる限り安く済ませたい気持ちもあり、Claude Proを契約してWeb版にファイルを1つ1つアップロードする日々を過ごしていました。 ある日それが面倒になってきて「全部1ファイルにしたらいい感じに読み込んでくれるのでは？」と思い、作ってみたら思いのほかうまくいったので公開しました。 百聞は一見にしかずということで、 こちらのデモにお気に入りのGitHubリポジトリ(例: honojs/hono)を入力してみてください。 Claudeが得意とするXMLっぽいフォーマットで出力し、そのままClaudeにアップロードすることができます。 完全にAIバブルの波に乗ったとも言えるのですが、多くの競合がいる中でスター
AIデバイス「Rabbit R1」には基本システムソフトウェアとして「RabbitOS」が搭載されています。そんなRabbitOSをジェイルブレイクしたところ、位置情報やWi-Fiネットワーク名などをストレージのテキストファイルに保存していたことが、ソフトウェアエンジニアのデヴィッド・ブキャナン氏によって報告されています。 Jailbreaking RabbitOS: Uncovering Secret Logs, and GPL Violations | Blog https://www.da.vidbuchanan.co.uk/blog/r1-jailbreak.html 技術系スタートアップのRabbitが開発したAIデバイス「Rabbit R1」は話しかけるだけで音楽を再生したり食事を注文したりできるAIアシスタントデバイスとして期待されていましたが、実態は既製APIを用いてAnd
自動文字起こしサービスである、OpenAIの「Whisper API」とAWSの「Amazon Transcribe」の精度を比較してみた はじめに 今回は、OpenAIのWhisper APIとAmazon Transcribeという2つの音声文字起こしサービスを試し、それぞれの精度を比較してみました。 Amazon Transcribeは、音声をテキストに変換する自動音声認識サービスです。 ストリーミングとバッチ処理のどちらでも文字起こしが可能です。 攻撃的な言葉を指定すると、Amazon Transcribeがそれらの言葉を文字起こしから自動的に削除する語彙フィルタリングなどの機能もあります。 Amazon Transcribeの詳細は、下記の記事をご参考ください。 OpenAIには音声をテキストに変換する「Whisper」という音声認識モデルがあり、WhisperをAPIの形で呼び
こんにちは。CX 事業本部 Delivery 部のきんじょーです。 ChatGPT の API がついに提供されたということで、チャット AI 界隈が盛り上がっていますね。 このビッグウェーブに乗り遅れてはいけないと思い、ChatGPT の優れた自然言語処理能力を活かして LINE で英会話の練習をする「Small GPTalk」というサービスを作ってみました！ アプリの紹介と、アプリ作成を通して感じた ChatGPT の可能性についてブログ化していきます。 Small GPTalk とは Small GPTalk は、ChatGPT から派遣された AI 英語講師と LINE 上で SmallTalk(世間話) を楽しむためのアプリです。 レッスンが始まると、講師はトピックを提示してくれます。好きなトピックを選んで講師と会話を楽しみましょう。 レッスンを終わるときは「終わります」と伝えて
こんにちは。 先日AIエージェント開発の技術解説記事を書いて「今後ChatGPTライクのAPIが出てきた瞬間に進化すると思う」という話をしたのですが… まさか3日後にChatGPT APIが出てくるとは思いませんでした。 というわけで今回はUnityからChatGPT APIを叩く方法について書いてみます。 先日の記事で用いたGPT-3のTextCompletionAPIよりも(Langchainなどを使わず)カスタマイズ無しで実際のAI利用シーンに活用できそうな印象を受けました。 具体的には… 応答速度が早い(応答の文章の長さによりますが、手元の環境では1~3秒で返ってきました) AI側の応答の前提条件の設定ができる。(キャラクターの性格や語尾など) (過去のプロンプトや生成結果を次のプロンプトに引き継ぐような実装をすることで)会話の文脈を考慮した応答をすることができる。 という特徴があ
こんにちは！逆瀬川( https://twitter.com/gyakuse ) です！ 今日は公開されたばかりのChatGPT APIを使ってAIキャラクターを作ってみます。 概要 ChatGPT APIを使ってAIキャラクターを作る 嬉しいところ 以前のOpenAIのGPT-3.5系のAPIは $0.0200 / 1K tokens で、だいたい1000文字で3〜5円くらいでした。 今回のChatGPT APIは $0.002 / 1K tokens であるため、1/10のやすさになっています。 また、規約が更新され、APIを使ったinput/outputは学習対象外(オプトアウトがデフォルト)となりました。 DPAの締結(OpenAIの書式に従う必要があります)も可能になっているためより以前よりは守秘性の高いコミュニケーションに使用できる可能性があります。 Colab 実装 会話を行
アダルト画像が含まれているか判定できるAPIを使って、家族の入浴写真を分析してみた：はじめてのAI AIについて学びたくて、この春から勉強を始めた筆者。日本マイクロソフト テクニカルエバンジェリスト大田昌幸（おおたまさゆき）先生に教えてもらい、Microsoftが公開しているAPIを使って、AIを学んでいます。 これまで、画像から年齢や性別を認識する「Face API」と感情を認識する「Emotion API」を勉強してきましたが、いよいよ今回は画像から多くの情報を得ることができる「Computer Vision API」を使ってみます。 Computer Vision APIは、画像内のテキストの読み取りや手書き文字の読み取り、著名人の認識、サムネールの生成、画像の種類や写真内の配色の特定、アダルトコンテンツの自動制御などができるAPI。取得できる情報が多く、なんだか楽しそうです。 AP
［速報］Google、動画になにが映っているかを自動的に判断する「Video Intelligence API」発表。Google Cloud Next'17 Googleは米サンフランシスコでイベント「Google Cloud Next'17」を開催。1日目の基調講演で、動画を分析して、いつ、なにが映っているかを判断する「Video Intelligence API」を発表しました。 動画になにが映っているかをコンピュータが自動的に判断する Googleのチーフサイエンティスト Fei-Fei Li博士によると、動画をコンピュータに理解させることはこれまで何年ものあいだ大きな課題で、実際、画像研究者にとって動画はデジタルな世界のダークマター（暗黒物質）だとされてきた、と。 そうしたなかで、Googleは機械学習による新しいAPI「Video Intelligence API」を発表しまし
はじめに この記事は、Life is Tech ! アドベントカレンダー2016 18日目の記事です。 はじめまして！iPhoneメンターのにっしーです。 「時間があるときに勉強しよう」と人工知能／機械学習／Deep Learning／認識技術といったトピックの記事の見つけてはストックしてきたものの、結局2016年は何一つやらずに終わろうとしているので、とにかく一歩でも足を踏み出すべく、 本質的な理解等はさておき、とにかく試してみる ということで画像認識技術に触れてみることにしました。 画像認識とは? 画像認識とは、画像データの画像内容を分析して、その形状を認識する技術のことである。 -- Weblio辞書 画像認識では、画像データから対象物となる輪郭を抽出して、背景から分離し、その対象物が何であるかを分析するのが基本になります。 しかし、人間なら無意識化に行われていることですが、コンピュ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く