疑虑无效？全球首款AI工程师Devin实测结果揭示缺点，或许挑战不足以击败程序员？周鸿祎或许暂时胜出！

编译 | 言征

出品 | 51CTO技术栈（微信号：blog51cto）

在李彦宏和周鸿祎就“AI是否会取代程序员”争论之后的第二天晚上，社交媒体上开始疯传一款号称是“全球首款AI软件工程师”的Devin。

Devin（英文中寓意：神秘、完美，Godlike），脱颖而出的地方在于，跟以往的Github Copilot等编码助手不同，它能够独立地、端到端地、处理整个软件项目。而它的公司Cognition Labs, 已经获得了2100万美元的投资支持，其中包括彼得·泰尔的Founders Fund，人气陡升。

如果Devin成功，这将会显著影响软件开发行业，可能会在某些项目上减少对人类开发者的需求。

在SWE-Bench基准测试中，Devin的表现非常出色，取得了13.86%的准确率。这意味着它可以独立解决每100个问题中的近14个，这个成绩远远超过之前最好的模型Claude 2的1.96%的无辅助准确率和4.80%的有辅助准确率。Devin在软件工程任务中展现出了强大的能力，这将对AI模型的发展产生积极的影响。这种高准确率的表现显示出Devin在解决问题方面的高效性和准确性，为软件工程领域的发展提供了有力支持。Claude 2的表现虽然也很不错，但Devin的准确率明显更高，这表明Devin在AI模型的性能方面有着显著的优势。Devin的这一成就将为未来的AI模型研究和开发

这是生成式AI在自主理解和解决软件开发问题能力显著提升的重大事件，坚定了选择GenAI+Coding赛道的从业者的信心。

1、Demo视频很震撼，不如实测一番

但李彦宏和周鸿祎的那个争论，似乎并不会随着Devin的出现而迎来答案。

因为，Devin非常有创造性，但实际表现并不会让程序员们担心丢掉饭碗。正如Cognition放出的视频，可以看出整个过程仍需要人工辅助参与，即便不需要人，我们会发现AI能完成的任务，实在太过简单。

另外，Demo演示视频难免让人怀疑实际效果，一位酷爱开发的网友 Andrew Kean Gao第一时间申请了测试使用Devin。正如上文所说，有些任务如果没有人为干预的话，就会运行失败。

图片

“Devin给人的第一眼的印象在于UI/UX（界面和交互），而并非是GenAI”，他表示，AI是核心组件，但真正引人注目的是他们构建的周边基础设施。

图片

此外，Gao还表示，这个产品感觉相当成熟，并不是之前以为的一个演示版本。“他们构建了诸如自动部署到Netlify、API密钥保护、智能中断方式以免真的打断流程、为人类量身定制的良好用户界面，以及连接LLM和人类开发者的桥梁，还有一个可以回溯时间的滑块，”他补充说，一点点揭开事物的面纱很有趣。

图片

“最大的缺点是速度慢，”Gao说，他形容网站感觉有点慢。然而，他说这也可能是因为他使用的是1Mbps的Starlink连接。所以这部分可能是他自己的问题。

Gao还提到，你不能编辑Devin生成的代码。“它还没有达到协作的程度。”

Ryan Carniato，SolidJS UI库的作者以及MarkoJS核心团队成员，表示到目前为止，Devin在正确选择用于简单任务的库方面，尚存在困难，比如构建一个“todo-list”应用程序。Devin竟然选择复杂库而不是像Lit这样的现代轻量级库来构建网络组件，有些让人咋舌。

在HackerNews上以dakiol为名的用户说：“我工作中的90%并不是编写代码（作为一名高级软件工程师），而是要将复杂的要求去混淆并分解成明确的块，找出要求中的空白或漏洞，以便我只需编写最少的代码，理解代码库以便实施能够很好地契合。”这段话突显了Devin的局限性。

2、Devin 砸不了程序员的饭碗

Devin的显著能力提升在社交媒体上引发了关于编程工作未来以及人工智能在软件开发中角色的讨论。不出意外，又是两派：一些开发者对工作被取代表示担忧，而另一些人则将Devin视为提高生产力、专注于更高层次任务的工具。

令人惊讶的是，对于开发者工作的总体前景仍然保持积极。据美国劳工统计局预测，从2019年到2029年，软件开发人员的就业机会将增长22%，这一增长速度远远超过所有职业的平均增长率。

“AI系统如Devin将降低非技术创始人进入技术领域的门槛。它将使软件工程大众化，”AI科学家Saurabh Shukla说，他强调了Devin的积极面，以及它将如何（不）取代软件工程工作。

谷歌的工程经理Vineet Joglekar表示：“如果你是一个仅仅写代码的人，你需要开始以不同的方式思考。”他说，由于在故障排除、策略思考和人类驱动的创新问题解决中持续需要人工监督，Devin还没有准备好取代所有的开发者工作。

最后多说一嘴，近期代码编写Agent类的产品值得大家关注，虽然它暂时还取代不了人类！毕竟的确可以提升不少效率。当然，周鸿祎目前看是赢了！