DevinをRoo Codeで置き換え、レビュー精度やコスト、速度を大幅に改善した話 〜その定量 & 定性成果から、設計思想まで〜

レビュー精度：対象PRへの指摘のうち、正しかった指摘割合の平均 再現率：Devinの良い指摘を再現した割...概要を表示 レビュー精度：対象PRへの指摘のうち、正しかった指摘割合の平均 再現率：Devinの良い指摘を再現した割合 レビュー内容の精度やコストから、予想以上にDevinのレビュー精度を上回っていることがわかります。 また、レビューの速度についても、Devinと同等 / ほとんどの場合、Devinよりも高速でした。（ローカル環境がそのまま使えるため、環境セットアップの時間が省略されているのもポイントですね） 定量その2 サイクルタイム レビュー精度という数値のみを追いかけてしまうと、「指摘は鋭いがレスポンスが遅い」といった数値ハック・局所最適に陥るリスクがあります。 開発フロー全体の健全性 を測るために、2 つ目の軸としてサイクルタイム という健康指標を導入しています。これから組織で展開する際に、精度にのみ注目し他を見落とすことがないよう、合わせて指標を追っていきます。 計測には technuma

• AI
• あとで読む
• LLM
• 人工知能
• review