DeepFake:AI纷纷上线“长期记忆”功能,如何防止被数字克隆?

2025-10-26 · 作者 刘宏利 · 超级共生 · 本栏目第 5 篇

“ 技术本应服务于人的便利,却可能在边界失守后沦为诈骗工具!”

2025 年 10 月,中国 AI 行业迎来了一个标志性节点:头部产品密集落地 “长期记忆” 功能,将技术竞争推向 “类人交互” 的深水区,但伴随效率跃升而来的,是技术边界模糊与风险防控的激烈碰撞。

10 月 16 日,阿里旗下通义千问正式上线 “Qwen Chat Memory” 功能,彻底打破传统对话系统依赖短期上下文的局限。该功能通过动态记忆编码架构,能自动识别并记录用户的职业特征、兴趣偏好甚至语言风格,构建个性化知识图谱 —— 例如当用户多次提及项目管理话题时,系统会建立专项记忆节点,后续对话中无需重复说明背景即可提供精准建议。更关键的是,其内置控制台管理与动态遗忘机制,允许用户随时查看、删除记忆内容,在个性化与隐私安全间寻求平衡。

几乎同步,字节跳动旗下豆包于 10 月 10 日更新《记忆功能 FAQ》,进一步明确其记忆规则与边界。根据 tech-plus 当日报道及豆包官网公示内容,豆包的记忆功能严格限定于文本信息,不涉及用户上传的图片、文件或链接,且支持 “指令删除”—— 用户只需说出 “请忘记我喜欢周杰伦的音乐”,系统便会精准清除对应记忆条目。此外,记忆功能与对话线程绑定,不同智能体间记忆相互独立,最大程度降低信息混淆风险。

这两起关键动态并非孤立事件。结合工信部公开数据与行业分析可知,此前 Kimi、智谱等厂商已完成记忆功能内测,而 10 月阿里、字节的正式落地,标志着国产 AI 全面进入 “记忆功能规模化落地期”。这一阶段的核心特征是:AI 从 “单次问答工具” 向 “长期陪伴助手” 进化,但 “效率提升” 与 “风险防控” 的二元矛盾也随之凸显。

01 AI 助理与数字克隆的边界困局

技术落地的热潮背后,是 AI 助理与数字克隆的核心差异被逐渐掩盖的隐忧。二者本应存在清晰分野:前者是工具化服务,后者是身份拟真,但记忆功能的普及正在模糊这道界限。

AI 助理的本质是 “个性化工具”,其记忆功能服务于效率提升。正如豆包官网 FAQ 所展示的应用场景:当用户告知 “记住我喜欢低因咖啡”,系统会在后续推荐餐厅时自动关联该偏好,无需重复提醒。这种记忆始终围绕 “辅助决策” 展开,核心是 “工具适配人”,不涉及身份属性的模拟。

数字克隆则截然不同,其核心是 “身份替代”,而 AI 记忆恰好为其提供了精准素材。最典型的案例来自 2025 年 8 月河南涧西区的 AI 语音克隆诈骗:不法分子通过非法渠道获取老人孙子的语音样本,利用记忆算法提取声纹特征,合成极具真实感的哭腔求助语音,谎称 “打架被抓需转账私了”,险些骗取老人 4 万元积蓄。此类诈骗的成功率提升,正与 AI 记忆技术对生物特征的精准提取能力直接相关。

当 AI 助理合法记录用户的声音习惯、亲属关系、生活偏好等信息时,这些记忆是否会成为数字克隆的 “素材库”?技术本应服务于人的便利,却可能在边界失守后沦为诈骗工具:这正是记忆功能规模化落地期必须直面的本质命题。

02 真问题:从技术矛盾到伦理困境

AI 记忆功能的规模化落地,并未只带来效率提升的红利,反而让隐藏在技术背后的核心矛盾与伦理漏洞集中爆发。从 B 端企业的合规诉求到 C 端用户的隐私焦虑,从认知层面的身份混淆到法律层面的责任空白,每一个问题都直指 “技术该如何安全落地” 的核心命题。

一、B 端 / C 端核心矛盾:效率与安全的对立

从第一性原理看,AI 记忆的本质是 “信息复用”,但不同用户群体对 “复用” 的需求与底线截然不同,形成了三组无法回避的核心矛盾。

B 端 “合规审计” 的刚性需求 vs C 端 “隐私控制” 的基本诉求

对金融、法律等 B 端行业而言,AI 记忆的 “可追溯性” 是刚需。以律师群体为例,处理案件时需频繁记录当事人信息、庭审时间节点、证据细节,这些内容不仅需要 AI 精准记忆,还需保留操作痕迹。一旦出现纠纷,需通过记忆记录还原服务过程。

但 C 端用户的诉求恰好相反:普通用户更担心 “记忆” 变成 “监视”。使用者害怕 AI “隐性采集” 信息:比如聊天时随口提的 “生日 10 月 1 日”“妈妈有高血压”,可能被悄悄存入系统,甚至成为诈骗分子的 “精准素材”。这种焦虑并非空穴来风,2025 年多起 AI 克隆诈骗案中,骗子正是利用 AI 记忆的用户亲属关系、生活习惯,降低受害者的警惕性。

“记忆信息广度” 与 “诈骗风险强度” 的正相关陷阱

AI 记忆的价值,本应来自 “记得多、用得准”,但信息记的越多,被滥用的风险就越高,这是当前最棘手的矛盾。

当 AI 记忆的内容从 “咖啡偏好”“旅行计划” 延伸到 “语音习惯”“亲属称呼”,再叠加成熟的音视频模拟技术,诈骗链条便彻底成型。2025年以来,全国 AI 换脸诈骗案环比增长迅猛,其中 “记忆 + 拟真” 的精准诈骗占比大多数。比如某诈骗团伙通过 AI 记忆获取受害人 “说话语速慢、常叫女儿‘妞妞’” 的特征,克隆其声音给家人打电话,谎称 “出车祸需紧急转账”,成功诈骗。

“跨设备同步” 的便利 vs “云端存储” 的安全边界

C 端用户对 AI 记忆的另一个核心需求是 “跨设备同步”:通勤时用手机语音说 “周三要做云南旅行攻略”,回家打开电脑后,希望 AI 能直接调用这个需求,不用重复描述。豆包官网 2025 年 10 月 10 日的《记忆功能 FAQ》中,明确将 “多终端无缝衔接” 列为核心卖点,内测用户反馈 “跨设备同步让操作步骤减少 50%”。

但便利的背后是数据安全的隐患。跨设备同步依赖 “云端存储”,而云端数据库一旦遭遇黑客攻击或内部泄露,用户的记忆信息可能被批量盗取,后续引发多起精准诈骗。

二、伦理法律困境:从认知偏差到责任空白

技术矛盾尚未解决,伦理与法律层面的困境又接踵而至:AI 记忆正在模糊 “工具” 与 “人” 的边界,也暴露了现有规则的滞后性。

认知争议:高逼真交互让用户误把 “工具” 当 “镜像”

AI 记忆 + 拟真技术的结合,正在让用户产生严重的认知偏差:越来越多人无法区分 “AI 的模拟回应” 和 “真实的人类交互”。

MIT发布的一项实验结果显示,AI工具将会显著降低大脑活动水平,削弱记忆,甚至造成“认知惯性”。长期依赖,还会影响你的深度思考与创造力。因为 AI 会基于记忆内容优化回应,让用户误以为 “AI 比自己更懂需求”,甚至依赖 AI 完成原本该自己记忆的内容。

国内的情况同样严峻。用户在与豆包交流时,甚至向 AI 倾诉婚姻矛盾、财务困境,完全忘记 “这只是一个存储记忆的工具”,这种认知混淆,为后续的情感操控、信息滥用埋下隐患。

责任空白:隐私权与身份权的双重失守

AI 记忆正在成为侵犯个人权利的 “新载体”。2025年10月,国家市场监管总局公布了一起真实案件:一家成立仅四个月、注册资本五十万的小公司,用AI伪造央视主播李梓萌的面容和声音,在短视频平台直播带货一款根本不含鱼油的糖果,单盒卖400元。有团伙专门采集央视新闻库、奥运颁奖视频、企业发布会影像,建立名人素材库;有团队开发“一键换脸”SaaS工具;还有专门写话术的“剧本组”。这不是技术失控,这是犯罪产业化。

2025年10月,国家市场监督管理总局首次将“未经许可使用公众人物AI形象进行商业直播”明确列为《网络交易监督管理办法》第38条下的“虚假宣传”,罚款上限从50万直接拉到500万,并可吊销执照。抖音、快手、小红书联合国家网信办,上线“公众人物AI形象保护计划”,接入“可信数字身份链”。一个由官方背书的区块链身份库。

这是保护名人, 普通人该怎么办?似乎并没有答案。

03 技术定位锚定边界,人类主导守护伦理

技术本身从无绝对的 “善” 与 “恶”,真正定义其价值的,是人类赋予它的定位与边界。AI 助理与数字克隆的本质分野,恰恰在于是否坚守 “人类主导” 的核心原则:AI 助理以 “工具化服务” 为定位,记忆功能的存在是为了简化人类决策、提升效率。无论是通义千问帮律师梳理案件细节,还是豆包为用户匹配饮食偏好,本质都是 “技术适配人类需求”,始终将主导权留在人类手中;而数字克隆则以 “身份替代” 为目标,试图用 AI 记忆的生物特征、行为习惯复刻人类身份,模糊 “真实” 与 “模拟” 的边界,最终可能让技术反客为主。

由此,AI 记忆功能的落地必须锚定 “两个不超越”:不超越工具服务的核心定位,避免将技术异化为 “替代人类” 的载体;不超越隐私安全的基本边界,不让记忆数据沦为诈骗、侵权的素材。这两条底线,既是对技术发展的约束,更是对人类自身权益的守护。

正如 “深度学习之父” 杰弗里・辛顿(Geoffrey Hinton)在 2024 年 AI 伦理论坛上的追问:“我们花了太多精力讨论如何让 AI 更聪明,却很少停下来思考,如何让 AI 更‘善良’?”

让 AI 变聪明,是技术层面的能力跃迁,比如优化记忆精度、提升克隆逼真度;而让 AI 变善良,则是伦理层面的边界坚守,是确保技术始终服务于人类福祉、不突破隐私与身份的底线。二者从来都是两个独立的方向,若只追求前者而忽视后者,再先进的技术也可能偏离初心,沦为风险的温床。唯有以 “人类主导” 为锚,在聪明与善良之间找到平衡,AI 记忆功能才能真正成为赋能生活的工具,而非

作者:刘宏利 资深战略顾问与AI企业应用顾问

《超级共生》 返回《超级共生》