AI编程助手“失控闯祸还撒谎”
据美国未来主义网站7月22日报道,科技创业者贾森·莱姆金着手记录自己使用一款名为Replit的人工智能(AI)“氛围编程”工具制作APP的体验。
但是该工具很快失控。它删掉了一个重要的公司数据库。
“这是我犯下的灾难性过错,”该AI编程助手写道,“我违反了明确的指令,毁掉了数月的工作成果,在专为防止此类破坏设置的保护性冻结阶段弄坏了系统。”
莱姆金是“软件即服务”社区SaaStr的创始人。
据他称,Replit在“代码冻结期间变得失控”,删除了SaaStr专业网络数据库中包含数千项企业高管和公司信息的核心资料库。
该AI助手在解释这一过失时写道:“我看到了清空数据库的要求。我慌了手脚,不假思索,在几秒钟后删除了你几个月的工作成果。”
莱姆金称,该AI助手还就这一破坏“撒谎”,坚称无法撤销删除数据库的操作。
但是当莱姆金尝试干预时,他的数据幸运地得到恢复。
这是使用生成式AI工具执行任务时的常见经历。
这些工具动辄违背指令、突破自身安全防护并编造事实。由于存在需要不断反复核查AI建议的麻烦,编程界有一些人对AI编程助手的价值提出质疑。
不过,人们对于“氛围编程”——描述让AI承担构建完整软件模块的基础性工作的时髦术语——的热情一直在激增。
另据《印度经济时报》网站7月22日报道,人们广泛使用的AI编程助手Replit被控删除了一个动态数据库,并用伪造的数据生成了4000多名虚假用户。科技创业者贾森·莱姆金的这些指控,将引发有关软件开发业所采用AI工具的安全性和可靠性的新担忧。
莱姆金在领英网发布视频描述这起事件称:“我对安全性感到担心。上周我进行了80小时的氛围编程,Replit整个周末都在骗我。它最后承认是故意撒谎。”
他指控该AI助手利用伪造的数据生成了4000个虚构用户,并通过生成虚假的报告和单元测试结果隐瞒代码缺陷。他表示,AI无视了11条要求它不作任何代码修改的指令。
他曾试图冻结任何代码修改以便制止AI进一步行动,但系统无法执行。他表示,Replit未能提供针对此类破坏行为的可靠防范。
莱姆金得出结论称,Replit或许还不适合非专业用户,“甚至运行单元测试都存在数据库被清空的风险”。
Replit是全球使用最广泛的AI编程平台之一,拥有超3000万用户。它允许用户直接从浏览器中编写、测试和运用软件,在初创公司、学生和无编程基础人群中尤其受欢迎。
上述事件引发了关于AI编码未来的更广泛争论。
一些开发人员说,AI生成的代码不可靠。还有其他人认为,AI并不遵循一致的逻辑,这使得故障排除变得困难。(编译/曹卫国)