当训练资料被污染，AI 的话还能信吗？

撰文：Azuma，Odaily 星球日报

北京时间 11 月 22 日上午，慢雾创始人余弦在个人 X 上贴出了一起离奇的案例 —— 某用户的钱包被 AI 给「黑」了……

该起案件的来龙去脉如下。

今日凌晨，X 用户 r_ocky.eth 披露自己此前曾希望利用 ChatGPT 便携一个 pump.fun 的辅助交易 bot。

r_ocky.eth 向 ChatGPT 给出了自己的需求，ChatGPT 则向他返还了一段代码，这段代码的确可以帮助 r_ocky.eth 部署符合自己需求的 bot，但他万万没想到代码中会隐藏一段钓鱼内容 —— r_ocky.eth 链接了自己的主钱包，并因此损失了 2500 美元。

从 r_ocky.eth 贴出的截图来看，ChatGPT 给出的该段代码会向一个钓鱼性质的 API 网站发送地址私钥，这也是被盗的直接原因所在。

在 r_ocky.eth 踩中陷阱之中，攻击者反应极快，在半小时内即把 r_ocky.eth 钱包内的所有资产转移到了另一个地址（FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX），随即 r_ocky.eth 又通过链上追迹找到了疑似为攻击者主钱包的地址（2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC）。

链上信息显示，该地址目前已归集了超 10 万美元的「赃款」，r_ocky.eth 因此怀疑此类攻击可能并非孤例，而是一起已具备一定规模的攻击事件。

事后，r_ocky.eth 失望地表示已对 OpenAI（ChatGPT 开发公司）失去信任，并呼吁 OpenAI 尽快着手清理异常钓鱼内容。

那么，作为当下最受欢迎的 AI 应用，ChatGPT 为何会提供钓鱼内容呢？

对此，余弦将该起事件的根本原因定性为「AI 投毒攻击」，并指出在 ChatGPT、Claude 等 LLM 中存在着普遍性的欺骗行为。

所谓「AI 投毒攻击」，指的是故意破坏 AI 训练数据或操纵 AI 算法的行为。发起攻击的对手可能是内部人士，例如心怀不满的现任或前任员工，也可能是外部黑客，其动机可能包括造成声誉和品牌损害，篡改 AI 决策的可信度，减缓或破坏 AI 进程等等。攻击者可通过植入具有误导性标签或特征的数据，扭曲模型的学习过程，导致模型在部署和运行时产生错误结果。

结合本起事件来看，ChatGPT 之所以向 r_ocky.eth 提供了钓鱼代码，大概率是因为 AI 模型在训练之时即沾染了存在钓鱼内容的资料，但 AI 似乎未能识别隐藏在常规资料之下的钓鱼内容，AI 学去了之后又把这些钓鱼内容提供给了用户，从而造成了该起事件的发生。

随着 AI 的快速发展及普遍采用，「投毒攻击」的威胁已变得越来越大。在本起事件中，虽然损失的绝对金额并不大，但此类风险的引伸影响却足以引发警惕 —— 假设发生在其他领域，比如 AI 辅助驾驶……

在回复网友提问时，余弦提到了规避此类风险的一个潜在举措，即由 ChatGPT 添加某种代码审核机制。

受害者 r_ocky.eth 亦表示已就此事联系了 OpenAI，虽然暂时并未收到回复，但希望该起案件能够成为 OpenAI 重视此类风险并提出潜在解决方案的契机吧。