AIソフトウェアエンジニアのデビンが2025年のパフォーマンスレビューを受けました! 過去18か月間で、ゴールドマン・サックス、シティ、サンタンデール、ヌバンクなど数千の企業がデヴィンを採用しました。 実際の事例や顧客からの指標を用いて、Devinが輝く点と苦戦点を見極めました。 もし現実世界でコーディングエージェントを展開しようと考えているなら、これは興味深いかもしれません。 全文レビューはこちらをご覧ください: 主なポイント: 🧵

1/ デヴィンを考える最初の方法は、無限の若手技術者の艦隊として考えることです。4〜8時間かかる範囲のしっかりした作業に最適です。

2/ 過去1年で、Devinはジュニアエンジニアとして非常に賢くなり、コードベースの理解が深まり、PRの統合率が倍増しました。

3/ リポジトリの移行、SonarQubeやVeracodeのような静的解析ツールで浮かび上がった脆弱性の修正、ユニットテストの作成、小規模なチケットの完了など、重要だが退屈な作業に最適です。

4/ 人間の開発者はSonarQubeの脆弱性1つあたり平均30分、デビンは平均1.5分です。 Devinは人間のエンジニアよりも14倍の時間でリポジトリを新しいバージョンのJavaに移行しました。

5/ Devinがこの1年で成長したもう一つの点は、コードベースの理解です。 それは、長年自社に勤めているオンデマンドのシニアエンジニアがいるようなものです。

6/ コードベースにオンボーディングする際、Devinは数十万リポジトリ規模の図を含むドキュメントを作成します。

7/ エンジニアが新しいプロジェクトを始める際には、Devinとチャットして設計の判断を検討できます。

8/デヴィンは曖昧な要件を独自に実行するのに苦労しています。事前に明確に定義された要件が必要です。

9/ そしてデヴィンはソフトスキルがあまりありません。結局のところAIですから。レポートの管理も、意見の相違の対応も、エンジニアの指導もできません。

10/ もしデヴィンを雇いたいなら、営業に相談できます: