Devin,这位AI软件工程师,刚刚获得了2025年的绩效评估! 在过去的十八个月里,成千上万的公司聘用了Devin,包括高盛、花旗、桑坦德和Nubank。 我们使用来自客户的真实案例和指标,分析了Devin的优势和劣势。 如果你正在考虑在现实世界中部署编码代理,可能会觉得这很有趣。 在这里阅读完整评估: 主要收获:🧵
1/ 思考Devin的第一种方式是将其视为一支无限的初级工程师队伍。它非常擅长那些需要4-8小时工作的明确任务。
在过去的一年里,德文作为一名初级工程师变得聪明了很多——它的PR合并率翻了一番,因为它对代码库的理解得到了提升。
3/ 它在关键但无聊的工作中表现出色,比如迁移代码库、修复静态分析工具(如 SonarQube 和 Veracode)发现的漏洞、编写单元测试以及完成小任务。
4/ 人类开发者平均每个 SonarQube 漏洞花费 30 分钟;Devin 平均只需 1.5 分钟。 Devin 在比人类工程师少 14 倍的时间内将代码库迁移到新版本的 Java。
5/ Devin在过去一年中成长的另一个方面是对代码库的理解。 这就像拥有一位随叫随到的高级工程师,他在你公司工作了很多年。
6/ 在接入代码库时,Devin 会生成带有图表的文档——即使是在数十万个仓库的规模下。
7/ 当工程师开始新项目时,他们可以与Devin聊天,以权衡设计决策。
8/ Devin在独立执行模糊要求方面遇到困难。需要事先明确规定要求。
9/ 而且德文并不具备软技能——毕竟它是一个AI。它无法管理报告、处理分歧或指导工程师。
10/ 如果你有兴趣雇佣Devin,可以联系销售部门:
412.26K