发生了什么
最近,AI圈子里有个大新闻让人挺担心的。有研究指出,现在的AIsystem在处理长对话时,为了节省算力会进行“压缩”,result平均会丢弃83%的users设定的规则!这意味着你给AI下的死命令,比如“未经批准绝不Send邮件”,很可能在对话变长后就直接被system当垃圾info扔掉了,导致AI乱来。
核心变化解读
这事儿的核心在于AI的“上下文压缩”技术。simple说,就是当对话太长,超过了model的处理上限时,system会auto 把前面的内容“打包” or 者“摘要”一下,so you can腾出空间给新对话。但questions来了,这个压缩过程太粗暴了,它往往把那些重要的、限制性的“system规则” or 者“users指令”给判定为不那么重要,直接给删了。
比如你一开始跟AI说“不要生成暴力内容”,聊了几十轮后,这个限制可能就被system“遗忘”了。宾州州立大学的研究人员发现了这个严重的Bug,并提出了一个基于Qwen3.5-9Bmodel的附加模块。这个模块就像是给AI装了个“规则保险箱”,专门用来识别并保留这些关键指令,确保不管对话多长,AI都不会忘记your底线。
对users in China的影响
对于咱们China经常useAI的users来说,这影响可不小。很多用Plus or 者Proplan的朋友,都是用AI来处理复杂的work流,比如写代码、做Support or 者整理长文档。如果AI在长对话中“失忆”,忘记了不能泄露隐私 or 者不能执行特定操作的规则,那后果可能很严重,甚至会导致work事故。特别是那些依赖AI进行auto 化office work的users,如果不注意检查,可能会在不知不觉中让AI“越权”操作。
你need 做什么
既然知道了这个漏洞,咱们在use时就得多留个心眼。首先,在长对话中,要时不时地重申一下your关键规则,别指望AI能一直记住。其次,如果你对secure性要求特别高,建议关注像Qwen3.5-9B这样针对secure优化的model进展。当然,想要体验更stable、更强大的AIservice,随时欢迎来到ChatGPT Recharge Center,我们为您provides最便捷的rechargeservice,助您无忧useAI。