Devin，這位 AI 軟體工程師，剛剛完成了 2025 年的績效評估！ 在過去的十八個月中，數千家公司聘用了 Devin，包括高盛、花旗、桑坦德和 Nubank。 我們使用來自客戶的實際案例和指標，分析了 Devin 的優勢和劣勢。 如果你考慮在現實世界中部署編碼代理，這可能會引起你的興趣。 在這裡閱讀完整的評估： 主要收穫：🧵

1/ 思考Devin的第一種方式是將其視為一支無限的初級工程師隊伍。它非常擅長於那些需要4-8小時工作的明確範疇任務。

在過去的一年中，Devin 作為一名初級工程師變得更加聰明——它的 PR 合併率已經翻倍，因為它對代碼庫的理解變得更好。

3/ 它在關鍵但無聊的工作上表現出色，例如遷移代碼庫、修復靜態分析工具（如 SonarQube 和 Veracode）所顯示的漏洞、編寫單元測試以及完成小任務。

4/ 人類開發者平均每個 SonarQube 漏洞花費 30 分鐘；Devin 平均只需 1.5 分鐘。 Devin 在 14 倍更少的時間內將倉庫遷移到新的 Java 版本。

5/ Devin 在過去一年中成長的另一個方面是對代碼庫的理解。 這就像擁有一位隨叫隨到的資深工程師，他在你的公司工作了很多年。

6/ 當加入一個代碼庫時，Devin 會生成帶有圖表的文檔——即使是在數十萬個倉庫的規模下。

7/ 當工程師開始新項目時，他們可以與 Devin 聊天以權衡設計決策。

8/ Devin 在獨立執行模糊要求方面遇到困難。這需要事先明確定義的要求。

9/ 而且德文並不具備柔性技能——畢竟它是一個AI。它無法管理報告、處理分歧或指導工程師。

10/ 如果你有興趣雇用Devin，可以與銷售部門聯繫：