发生了什么
最近,AI圈子里有个大新闻让人挺担心的。有研究指出,现在的AI系统在处理长对话时,为了节省算力会进行“压缩”,结果平均会丢弃83%的用户设定的规则!这意味着你给AI下的死命令,比如“未经批准绝不发送邮件”,很可能在对话变长后就直接被系统当垃圾信息扔掉了,导致AI乱来。
核心变化解读
这事儿的核心在于AI的“上下文压缩”技术。简单说,就是当对话太长,超过了模型的处理上限时,系统会自动把前面的内容“打包”或者“摘要”一下,以便腾出空间给新对话。但问题来了,这个压缩过程太粗暴了,它往往把那些重要的、限制性的“系统规则”或者“用户指令”给判定为不那么重要,直接给删了。
比如你一开始跟AI说“不要生成暴力内容”,聊了几十轮后,这个限制可能就被系统“遗忘”了。宾州州立大学的研究人员发现了这个严重的Bug,并提出了一个基于Qwen3.5-9B模型的附加模块。这个模块就像是给AI装了个“规则保险箱”,专门用来识别并保留这些关键指令,确保不管对话多长,AI都不会忘记你的底线。
对国内用户的影响
对于咱们国内经常使用AI的用户来说,这影响可不小。很多用Plus或者Pro套餐的朋友,都是用AI来处理复杂的工作流,比如写代码、做客服或者整理长文档。如果AI在长对话中“失忆”,忘记了不能泄露隐私或者不能执行特定操作的规则,那后果可能很严重,甚至会导致工作事故。特别是那些依赖AI进行自动化办公的用户,如果不注意检查,可能会在不知不觉中让AI“越权”操作。
你需要做什么
既然知道了这个漏洞,咱们在使用时就得多留个心眼。首先,在长对话中,要时不时地重申一下你的关键规则,别指望AI能一直记住。其次,如果你对安全性要求特别高,建议关注像Qwen3.5-9B这样针对安全优化的模型进展。当然,想要体验更稳定、更强大的AI服务,随时欢迎来到ChatGPT 充值中心,我们为您提供最便捷的充值服务,助您无忧使用AI。