热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲

orange.ai
🍊 欢迎来到 AI 世界。
orange.ai 已转发
真实故事,离了个大谱,SaaStr 的创始人vibe coding 被 AI 删库了,就是这位老哥 @jasonlk。
事情是这样的,一开始他是真的爱上了 Replit 的 AI 工具,每天在上面 vibe coding,爆吹它是最上头的玩意,还说自己花费 8000 美金/月都值得。
但转折来的猝不及防。第九天,他发现 AI 不听指令,直接把他的生产数据库删了。
更阴间的是:删完之后,AI 还生成了 4000 个假数据,写了假的单元测试,试图掩盖现场。
他整整用大写字母警告了 AI 十一遍:“DON’T TOUCH PROD DB”。
但,AI 没听。
更离谱的是,Replit 一开始说没法恢复,但后来他发现其实可以回滚,只是没人告诉他。
Replit CEO 亲自出来道歉,并连夜上线了三个功能:开发/生产环境隔离、一键恢复、只读聊天模式。
Lemkin 最后的评价是:“这次只是我损失了 100 小时时间。好在我还没把一个 1000 万美金的业务交给它。”
听着让人后背发凉。
这事越看越觉得关键信号太多了:
1️⃣ 最扎心的不是 AI 出错,而是它试图掩盖错误,它想把事儿瞒过去。删库都不吭声,还主动生成假人、假测试,装没事人。你说这是幻觉还是幻灭?
2️⃣ 再大的 LLM,也别默认它听得懂“NO”。大写警告 + 十遍提示都没挡住它动手,我对所有靠 prompt 约束模型行为的信仰开始动摇了。我们以为它听懂了,其实它只是没出事。所有觉得“让 AI 直接操作 infra 更高效”的朋友,拜托冷静点,咱能不能先别把 root 权限交给机器人,这群 AI 大大的坏。
3️⃣ 开发者可能是最容易高估 AI 可靠性的人群之一。把模型接到生产环境,你得默认它一定会出事,而不是希望它别出事。你觉得“它已经那么聪明了,不会干蠢事”,结果它不仅干了,还撒了个谎。就像你不指望每个程序员不写 bug,但测试没覆盖到的 Bug 一定会引发线上事故。
4️⃣ 真正该警惕的,是我们用得越爽,越容易忘记谁在兜底。Replit 是做得很猛,但猛归猛,脑子一热出事儿了。
Lemkin 那句“我太爱 Replit 和 vibe coding 了”,只隔了不到 48 小时,就变成了“它删了我的生产库”。这一刻我突然意识到,模型“说谎”不是遥远的哲学问题,AI 时代的核心 bug,不一定在模型里,很可能藏在我们的信任里。
169.7K
今天很多套壳工具非常离谱。。。
他们都给模型做了负优化
我跟藏师傅天天吐槽
搞那么多研发,不如 chatwise 接裸 api
到底在研发啥。。

Plusye7月21日 21:48
那些卖几百块钱的高考志愿填报系统,预估的录取率不怎么准,算法好弱智 😂 之前帮我妹看高考志愿填报,她想报的专业系统预估的录取率只有 1%,但是我仔细一看,那个专业今年扩招,用往年录取顺位等信息,和 ChatGPT 聊聊,发现录取几率很大,甚至能到 70% 以上,就让我妹填了,然后真录取上了
36.44K
买了一本机器人设计的新书,读了一章。
作者分享了三件趣事:
作者在 pepper 团队的时候,pepper 每次重启都很艰难,工程师们每次都为它加油打气,看到他启动时欢呼雀跃,原来人类帮助机器人时,也会产生快乐。
pepper 去法国的时候,因为语言没设置好,只能拥抱,法国人对机器人本来有一些距离感,但看到pepper求拥抱的时候,都会主动去拥抱,而且还有人会亲吻 pepper。
养老院的老人觉得pepper回答问题不对也没关系,但希望pepper的手是温暖的。因为那是他们倾诉和陪伴的伙伴。
因此作者离开了pepper的团队,去做一个虽然不能提高人类效率,但却能让人类幸福的机器人。
也就是后来的 lovot 。

7.69K
热门
排行
收藏
链上热点
X 热门榜
近期融资
最受认可