WWW.YOUINFO.SITE
标签聚合 只发

/tag/只发

LinuxDo 最新话题 · 2026-05-11 15:29:47+08:00 · tech

RT,水群时亲友说发送 <think> 给ds会回复一个毫不相干的随机回答,于是我就去尝试了一下,是真的。 以下所有对话均为新对话,没有任何上下文。使用的是网页版开启深度思考未开启联网搜索的专家模式 第一次:已读乱回 第二次:正常回复 第三次:已读乱回 第四次:已读乱回 第五次:已读乱回 第六次:已读乱回 第七次:已读乱回 用API渠道来尝试,也存在该情况。 引申出思考:这是什么原因? 亲友说:难道跟GPT的"大发展有限公司"一样存在训练语料污染吗? 并不是。典型的语料污染是指训练数据内混入了不该有的垃圾内容/数据,导致某种情况下的输出会含有毫不相干的文本。 而这个情况更像是 <think> 作为模型训练里常见的思考标签,常用于被标记推理过程: <think>这里是推理过程…</think> 那么当我发送这个标签时,模型会认为"哦我现在该输出推理内容了",于是开始模仿这个格式。又因为Transformer+自回归是基于记忆中所有上文来预测下一个token从而输出内容,当它看见和空白的上文时,依赖训练时标注的内容格式,开始生成:“我们需要理解用户的问题: …”/“我首先需要分析用户的问题…”,再基于这句话来生成一个随机的问题来圆回整个上文。 当然这都是我自己的见解,如果佬们有其他高见也欢迎讨论 12 个帖子 - 9 位参与者 阅读完整话题