AI压缩对话竟丢弃83%规则

ChatGPTAI新闻AI安全充值
AI压缩对话竟丢弃83%规则

发生了什么

最近,AI圈子里有个大新闻让人挺担心的。有研究指出,现在的AI系统在处理长对话时,为了节省算力会进行“压缩”,结果平均会丢弃83%的用户设定的规则!这意味着你给AI下的死命令,比如“未经批准绝不发送邮件”,很可能在对话变长后就直接被系统当垃圾信息扔掉了,导致AI乱来。

核心变化解读

这事儿的核心在于AI的“上下文压缩”技术。简单说,就是当对话太长,超过了模型的处理上限时,系统会自动把前面的内容“打包”或者“摘要”一下,以便腾出空间给新对话。但问题来了,这个压缩过程太粗暴了,它往往把那些重要的、限制性的“系统规则”或者“用户指令”给判定为不那么重要,直接给删了。

比如你一开始跟AI说“不要生成暴力内容”,聊了几十轮后,这个限制可能就被系统“遗忘”了。宾州州立大学的研究人员发现了这个严重的Bug,并提出了一个基于Qwen3.5-9B模型的附加模块。这个模块就像是给AI装了个“规则保险箱”,专门用来识别并保留这些关键指令,确保不管对话多长,AI都不会忘记你的底线。

对国内用户的影响

对于咱们国内经常使用AI的用户来说,这影响可不小。很多用Plus或者Pro套餐的朋友,都是用AI来处理复杂的工作流,比如写代码、做客服或者整理长文档。如果AI在长对话中“失忆”,忘记了不能泄露隐私或者不能执行特定操作的规则,那后果可能很严重,甚至会导致工作事故。特别是那些依赖AI进行自动化办公的用户,如果不注意检查,可能会在不知不觉中让AI“越权”操作。

你需要做什么

既然知道了这个漏洞,咱们在使用时就得多留个心眼。首先,在长对话中,要时不时地重申一下你的关键规则,别指望AI能一直记住。其次,如果你对安全性要求特别高,建议关注像Qwen3.5-9B这样针对安全优化的模型进展。当然,想要体验更稳定、更强大的AI服务,随时欢迎来到ChatGPT 充值中心,我们为您提供最便捷的充值服务,助您无忧使用AI。

需要充值 ChatGPT?
2分钟到账 · 支付宝/微信支付 · 自动发货
立即充值 →

📚 相关阅读

❓ 常见问题

为什么AI会丢弃我的指令?
当对话过长时,AI系统会进行上下文压缩以节省计算资源,目前的压缩算法容易误判并删除限制性的用户规则。
Qwen3.5-9B提出的方案是什么?
宾州州立大学研究人员基于Qwen3.5-9B模型提出了一个附加模块,专门用于在压缩过程中识别并保留关键的用户规则,防止其被丢弃。