一张物业报修工单写着:“承包商来过之后锅炉还是没修好,请晚上6点后给我打电话。”这样一条信息,需要的是队列、紧急程度、物业标识和一句简短原因,而不是把整串邮件往来复制进每一次重试。这个区别,比从提示词里删掉几个形容词重要得多。 短,并不自动等于更安全。设想一位租户在同一串对话里发了三条回复:最新一条说漏水已经控制住,被引用的旧消息说水正渗进卧室,而自动页脚把物业地址重复了两遍。一个粗糙的字符截断,可能恰好保留页脚和那句让人安心的话,却丢掉了安全细节。 字段感知的规范化器能做得更细:保留最新的未引用文本,把地址提取进受控字段,从被引用的上下文里保留安全相关措辞,并把这条记录标记为需要人工复核。这比直接切前4000个字符实现起来更长,但它能防止“省token”这件事悄悄改变工单的运营含义。API调用应当接收规范化后的表示,而原始对话按留存策略留在短期证据库里。 先谈留存,是因为省token只是运行成本的一半。一条有用的记录有三层:规范化输入、模型产出的决策,以及足以复现该决策的来源信息。三层全永久保留,实现容易、辩护困难;只留摘要,日后发生争议又难以追查。 一种起步做法是:原始工单保留30天,规范化文本和结构化决策保留180天,输入的不可变哈希连同处理元数据保留到更长的审计周期。这些是策略示例,不是通用的法律要求,物业运营方需要和法务、客服团队一起确定期限。工程上的要点是:不同数据价值不同。 取舍并不舒服:删掉原始文本能减少暴露面和存储,但住户对紧急程度标签提出异议时,最省事的证据也没了。与其把这份损失藏在看似很低的token数背后,不如把它明确写出来。留存任务应当记录删了什么、为什么删,而分诊表保留决策、schema版本、分词器名称和处理时间戳。 用一条契约很窄的流水线。先剥掉引用回复链、签名、追踪参数和重复的通知文本,再保留那些会改变路由的字段:所述问题、位置、进入限制、安全措辞、请求时间和工单标识。脱敏必须在计数之前,计数必须在请求之前。Node.js服务调用API时同样适用这套策略,语言变了,边界和证据不变。 分词器只是某种编码下的估算器,不是含义的通用度量。tiktoken项目提供了字节对编码库和编码工具;用与运行时配置匹配的编码,再把计数与服务的实际用量遥测对照。用不同编码算出的数字,方向上有参考价值,运营上可能是错的。在API集成里,把本地计数叫作估算,把服务返回的实测用量当作记账依据。 本地输入上限是护栏,不是盲目截断的许可证。在句子中间硬切,可能把“不要进入”里的“不要”切掉,也可能把单元号和进入指令分开。优先做字段感知的规范化,并给出明确的溢出状态。仍然超限的工单可以转人工复核或走单独的分块路径,这条路由要能在指标里看见。 对分诊来说,“摘要得好”是个糟糕的成功标准。队列需要的是一个合法对象。最小契约可以包含类别、紧急程度、物业标识、请求回电时段、原因和是否需要人工复核。每个字段都要有允许的形状,每个缺失值都要有定义好的表示——如果下游路由对空字符串和null区别对待,这两者就不能互换。 写入队列之前先校验解码后的对象:检查schema、枚举值、标识格式和跨字段规则。比如类别未知、出现安全措辞或物业标识缺失时,是否需要人工复核应为真。这条规则属于确定性代码;让模型用自然语言“记住”它,只会让存储记录看起来完整,而路由决策依旧含糊。 不要用同样没有边界的提示词去重试一个格式错误的响应。记录校验失败,执行有边界的重试策略,契约仍然不满足就转人工。如果重试产生了第二条存储决策却没有和第一条关联,那就是审计缺陷,哪怕第二个答案看起来更好。 省token修不好重复投递、过期缓存,也修不好模型调用之后、数据库提交之前崩溃的队列worker。给每次处理尝试一个幂等键,由工单修订、策略版本和schema版本派生;存下尝试状态,比如已开始、已校验、已持久化或转人工,不要靠“摘要列是不是非空”去推断状态。 这里正是低成本设计可能变贵的地方。如果worker先提交工单状态再提交决策,重试可能把同一段文本再发一次,产出两份都说得通的摘要;如果先提交决策,崩溃可能留下一个没有队列状态迁移的决策。可靠的答案是事务,或者outbox式的交接,让状态迁移显式发生——缩短提示词修不了这个顺序问题。 缓存也值得同样怀疑。住户补充安全细节后,工单可能被编辑。如果键只用工单标识,旧分类会被当成新结果发出去;如果键包含规范化内容哈希和策略版本,编辑会产生新决策,而完全相同的重试复用已有决策。这比一行可变记录占更多存储,但给了运营方一段站得住的历史。 分开观察四个量:规范化输入token、输出token、校验失败数和重复处理率,并按工单类别和策略版本聚合。平均token数下降,可能掩盖溢出率上升;模型响应稳定,可能掩盖重复写入。告警应当盯运营后果,而不是好看的token数字。 一条实用的决策规则:靠删除重复上下文、保留承载决策的字段来约束输入;用运行时预期的编码计数;要求严格的结构化对象,本地校验,并持久化塑造它的确切版本;按内容和策略缓存,而不是只按可变标识;原始文本按声明期限保留,到期后通过可审计的任务删除,同时留下解释路由结果所需的最少来源信息。 刻意放弃的是留存窗口之后的原始证据。换来的是更小的暴露面和一份能逐字段解释的存储策略。如果业务无法接受这份损失,答案是把留存期定得更长并获得批准,或者另建受控归档,而不是把提示词改得更激进。 特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。 Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.