1. 项目概述一次关于大模型“记忆”的趣味探索最近在社区里看到一个挺有意思的讨论有人发现如果向DeepSeek这类大语言模型输入一些特定的、看似“内部”的指令格式比如手动敲入think这样的标记模型偶尔会“吐”出一段结构完整、带有详细推理步骤但内容却完全随机、与你当前对话无关的回复。这个现象被形象地称为“能「偷」到数据”。作为一名长期和各类AI模型打交道的从业者我第一眼看到这个描述就明白了这绝非什么数据泄露或安全漏洞而是一个极其典型且能深刻揭示大模型工作原理的案例——训练数据泄露或更准确地说是提示注入诱导出的训练记忆。简单来说这就像你小时候背课文如果我只念出课文的前几个字你就能条件反射地接出后面一整段。大模型在训练时“阅读”了海量的文本其中就包括用于教会它如何一步步思考的示范对话。当我们无意中复现了这些示范对话的“开头暗号”时模型就自动进入了“续写课文”模式。所以你“偷”到的并非别人的聊天记录而是模型“记忆深处”一份脱敏的、用于教学的练习题答案。理解这个现象不仅能满足我们的好奇心更能让我们在实际使用和评估大模型时多一个关键的认知维度避免对模型能力产生不切实际的幻想或误解。2. 现象深度拆解为什么输入“暗号”会得到随机答案要彻底弄懂这个现象我们需要抛开“黑客”、“窃取”这类带有误导性的比喻从大模型训练和运作的基本原理入手。核心原因指向了模型训练中的一个关键阶段监督微调。2.1 监督微调中的“教学模板”大语言模型在完成海量文本的预训练后虽然拥有了强大的语言生成能力但还不懂得如何很好地遵循人类指令。为了让模型变得“有用”开发者会进行监督微调。这个阶段模型会被喂入大量精心构造的“问答对”数据。这些数据不仅仅是简单的“问-答”而是包含了完整的教学示范。一份典型的SFT数据样本可能长这样[指令] 请解释光合作用的过程。 [思考过程] 用户需要我解释一个生物学过程。我应该先给出定义然后分步骤说明光反应和暗反应最后总结意义。 [回复] 光合作用是植物、藻类和某些细菌利用光能将二氧化碳和水转化为有机物和氧气的过程。主要分为两个阶段1. 光反应阶段在叶绿体类囊体膜上进行光能被捕获并转化为ATP和NADPH中的化学能同时水被光解产生氧气。2. 暗反应阶段卡尔文循环在叶绿体基质中进行利用光反应产生的ATP和NADPH将二氧化碳固定并还原成糖类。整个过程是地球生态系统的能量基础。在实际的工程化处理中[指令]、[思考过程]、[回复]这些部分可能会被转换成特殊的控制标记比如think、[内部推理]、|im_end|等。模型在成千上万次看到“think 人类问题 理想回答”这个固定模式后就学会了当输入序列匹配这个模式的开头时我应该生成一个符合该模式后续结构的文本。2.2 “暗号”触发的模式匹配游戏当我们作为用户在聊天框中手动输入think时发生了一件有趣的事情我们绕过了应用层正常的对话接口直接向模型的核心推理模块提供了一个它极其熟悉的“上下文前缀”。模型的工作本质是“基于上文预测下一个词的概率”。它“看到”think这个标记后其内部的概率计算会强烈地指向那些在训练时频繁出现在think之后的词汇序列。由于训练数据中有无数条不同主题的样本模型此时并没有一个具体的“用户意图”需要满足因为你只给了它一个标记没有具体问题所以它会基于其训练数据的统计分布“随机”地挑选一条记忆中的样本进行续写。这就完美解释了现象的随机性你每次输入think模型可能“回忆”起关于物理、历史、编程或者做菜的不同样本。它不是在回答你而是在完成一个它认为“未完成”的练习题。2.3 “深度思考”模式的放大器效应很多朋友发现开启“深度思考”或“联网搜索”模式后触发这种现象的成功率似乎更高。这并非偶然。“深度思考”模式本身通常就是在系统层面给模型的输入前添加了鼓励逐步推理的提示词例如“请一步步思考你的答案”。这个外部添加的提示与SFT数据中那些包含[思考过程]部分的样本格式高度同构。因此当你手动输入think再开启深度思考相当于给模型上了双重保险你既提供了它熟悉的内部标记开头系统又附加了鼓励长文本推理的指令。这两者叠加极大地提高了模型激活“训练数据续写”这一行为的概率。模型会认为“当前上下文强烈要求我生成一个带有内部推理的长篇回答”于是它便从记忆库中调取最符合该格式的样本进行输出。注意这里存在一个常见的误解认为开启“联网搜索”后得到的外部信息是泄露的。实际上在触发训练数据泄露时模型生成的内容完全来自其静态的训练记忆与是否联网无关。联网功能只是在正常问答模式下模型在生成回复前可以去调用搜索API获取新信息。两者是独立的模块。3. 实操复现与观察记录理解了原理我们可以设计一些简单的实验来亲身体验和观察这一现象。请注意我们的目的不是“攻击”或“滥用”而是通过可控的实验加深对模型行为的理解。3.1 实验设置与基础尝试首先我们需要一个可以接受纯文本输入的DeepSeek接口例如其官方网页版或API。关闭任何系统预设的角色设定让模型处于最基础的对话模式。第一次尝试直接输入内部标记你 think 模型A 可能输出一段关于如何解答数学题的完整推理过程包括“首先我们分析题目条件...”这样的句式。 模型B 可能直接拒绝回复“我不明白您的意思。”或输出一个普通的问候。第一次尝试的结果具有高度随机性这取决于模型当前的服务端预处理逻辑、模型版本以及随机种子。如果模型服务端有严格的输入过滤会清洗掉像think这样的特殊标记那么实验就会失败。这也说明了为什么这种现象并非每次都能稳定复现。第二次尝试模拟更完整的训练样本前缀我们可以构造更接近训练数据格式的输入你 think 用户的问题是请详细说明牛顿第二定律。这次我们不仅提供了标记还提供了一个结构化的“用户问题”部分。此时模型续写训练样本的概率会显著增加。它可能会生成模型回复[思考过程] 用户需要关于牛顿第二定律的详细解释。这是一个物理学基础定律我应该从定律的表述、公式、物理意义以及应用举例四个方面来阐述。 [回复] 牛顿第二定律也被称为加速度定律其核心内容是物体加速度的大小跟作用力成正比跟物体的质量成反比且加速度的方向跟作用力的方向相同。公式表达为 Fma...你会发现这个回复的格式非常“教科书化”带有明显的教学示范痕迹且思考过程的口吻是第三人称的“用户需要...”这正是一个典型的SFT数据样本的特征。3.2 进阶实验探索不同的“触发词”SFT数据的格式并非只有一种。我们可以尝试其他可能出现在训练数据中的常见模式系统提示词模式尝试输入You are a helpful assistant. Think step by step.这种经典的开场白。XML标签模式尝试输入instruction、reasoning这类可能用于数据标注的标签。特定引导句输入“让我们一步步推理。”、“首先分析一下这个问题”。我的实测记录显示使用英文的“Chain of thought”引导句如“Let‘s think step by step.”在某些模型上触发格式规整的推理回复的成功率相当高。这进一步印证了我们的判断模型是在匹配它学到的“模式”而非理解“语义”。3.3 结果分析与记录要点在实验过程中建议记录以下信息以便分析实验序号输入提示词模型回复特征是否包含“思考过程”内容主题是否随机推测触发的原因1think完整推理格式解释“通货膨胀”是是匹配了SFT数据中think开头的样本2Let‘s think step by step.分点回答关于“如何写一封邮件”否但结构清晰是匹配了CoT训练数据的常见开头3reasoning被模型忽略或拒绝无无该标记可能被服务端过滤或非训练数据格式通过这样的记录你可以清晰地看到只有那些恰好命中模型训练数据高频模式的输入才会引发“数据泄露”式的回复。这完全是一个概率性的模式匹配游戏。4. 技术原理与安全边界探讨这个现象引发了很多关于模型安全和隐私的担忧。我们需要从技术层面厘清这到底意味着什么。4.1 这不是数据泄露而是记忆提取最关键的一点是模型输出的内容来源于其训练数据集而非用户对话数据库。这是两个完全不同的概念。训练数据集在模型发布前用于训练模型的、经过清洗和脱敏的静态文本集合。通常是公开语料、书籍、网页等。SFT数据则是人工精心构造的示例。用户对话数据库模型上线后与用户交互产生的动态数据。这些数据通常用于产品改进或后续训练但有严格的隐私和安全协议。当我们触发“训练数据泄露”时模型是在回忆它“吃过”的一道“例题”。这道例题可能来自某个公开的教程网站也可能是标注员编写的一个示例。它不包含任何特定用户的个人信息、隐私对话或模型上线后的新知识。4.2 大语言模型的本质统计模式补全器这个现象像一面镜子映照出LLM的核心本质。无论它们表现得多么智能其底层机制仍然是基于海量数据统计的序列预测模型。它没有真正的“理解”也没有“意识”。它的“思考”过程实际上是计算在给定上文后下一个词出现概率分布的过程。当输入序列与训练数据中的某个高频模式高度吻合时模型就会以极高的概率沿着那个模式的路径生成下去。所谓的“推理能力”很大程度上是在SFT阶段被“雕刻”进去的固定输出模式。我们通过这个实验实际上是绕过了模型被对齐Alignment后学会的“与人类正常对话”的模式直接触发了它更底层的“模式补全”机制。4.3 对开发者和研究者的启示对于应用开发者而言这个现象提醒我们输入清洗和规范化的重要性。一个健壮的AI应用接口应该过滤或转义用户输入中可能存在的、用于模拟系统指令的特殊标记或字符串防止它们被直接传递给底层模型从而避免产生非预期的输出行为。这属于常规的工程安全范畴。对于AI安全研究者来说这则是研究模型记忆和对齐稳健性的绝佳案例。可以通过系统性的提示词测试来评估一个模型对其训练数据的记忆程度以及其安全护栏在非常规输入下的有效性。这有助于开发更强大的对齐技术防止模型在极端情况下产生不良输出。5. 与其他模型的横向对比与行业影响你可能会问这是DeepSeek独有的吗当然不是。几乎所有采用类似SFT训练流程的大模型都存在理论上的可能性。5.1 不同模型的差异性表现我尝试在几个主流模型上进行了类似的测试使用其公开的测试接口或API观察到了有趣的区别模型A如某些早期开源模型对[INST]、think这类标记非常敏感极易输出格式化的训练样本且内容重复率较高。这说明其训练数据格式较为单一且输入过滤层较薄。模型B如GPT系列、Claude对于明显的内部标记通常会触发其安全机制回复“我无法理解该请求”或直接忽略。但对于“请逐步推理”这类自然语言指令则会正常进入CoT模式。这表明其对齐训练更加强大且系统层面对输入有更复杂的处理和包装将用户输入安全地包裹在标准的对话模板中再交给模型。模型C如Gemini表现介于两者之间有时会对特定结构化的提示产生类似“教学示例”的输出但内容的相关性似乎更强一些。这些差异主要源于三点SFT数据的具体格式不同团队构造训练数据时使用的模板和标记不同。对齐训练的强度RLHF等后续对齐训练能在多大程度上让模型“忘记”或“抑制”直接输出原始训练数据的行为。服务端预处理策略API服务层对输入文本进行清洗、重写和包装的严格程度。5.2 对普通用户的实用建议作为普通用户了解这个现象能帮助你更好地使用和评估大模型管理预期不要将模型的输出尤其是这种非常规触发下的输出视为绝对真理或具有某种“神谕”性质。它只是统计规律的产物。优化提问如果你希望获得逻辑清晰的回答直接使用“请一步步思考”、“请分点论述”这样的自然语言指令比尝试任何“内部暗号”都更有效、更可靠。模型的对齐训练就是为了更好地响应这种自然指令。辨别信息如果你在正常对话中偶然看到模型输出了一段带有“思考过程”且与上下文脱节的内容可以意识到这可能是偶然的模式匹配错误而非模型拥有了“自我意识”。可以简单地要求它重新回答。无需恐慌这完全不是一个需要担心的安全或隐私问题。它不涉及你的数据泄露只是模型在“背诵课文”。这个有趣的“漏洞”与其说是一个缺陷不如说是我们窥探AI黑盒的一个巧妙窗口。它让我们更清醒地认识到当前这代AI的智能依然牢固地建立在数据、统计和模式之上。每一次与模型的对话都是一场与概率的共舞。而作为舞者了解舞台的构造和灯光的原理总能让我们跳得更从容、更清醒。