2026 年 2 至 9 月,四件”在大语言模型(LLM)吃进文本之前先做瘦身”的专利在 Free Patents Online 接连公开:日志折叠、子句剪枝、动态截断、工具清单最小化。Token 成本管控正从事后记账前移到喂给模型之前,而缺一个通用审计加裁剪中间层的空档,正是独立开发者能接的活。
专利信号:四件已公开申请全在”少喂”上做文章
- US20260260063A1(原文),Ciena Corporation,2026-09-03 公开:喂给 LLM 前对日志做空间折叠(重复序列聚类取代表)加时间窗折叠,只送代表性序列。
- US20260203500A1(原文),Naver Corporation,2026-07-16 公开:RAG(检索增强生成:先查外部资料再塞进提示词)段落先重排、再按子句剪枝,剪枝与重排可共用或分离模型,仅幸存子句进 prompt。
- US20260170265A1(原文),PayPal, Inc.,2026-06-18 公开:按输入 token 量动态确定截断阈值,保证输入加输出不超模型上限,用训练数据建”输入区间到阈值”查找表。
- US20260044679A1(原文),Cisco Technology, Inc.,2026-02-12 公开:function calling 只暴露函数组描述与私有函数清单,不喂全量工具 schema,按会话最小化上下文。
四件均为已公开申请(审查中),不是授权专利。
技术趋势:输入瘦身从提示词技巧变成模型前的架构件
共同走向:token 压缩不再靠人工调提示词,而是拆成模型调用之前的独立处理件——折叠、剪枝、阈值查表、schema 过滤各管一段输入。与现成方案的差异:LiteLLM 这类开源网关卖虚拟 Key、预算与成本追踪(见 References),只记账不动内容;官方压缩能力绑定各家自己的栈。对任意 OpenAI 兼容接口都能前置的通用层尚无标配产品。
落地机会:卖给被账单烧到的 AI 外包开发者
用户场景:接了 AI 客服或文档问答外包单的个人开发者,demo 阶段月账单几十块;上线后客户塞进几万行日志、工单历史和整段知识库上下文,月账单跳到四位数,长上下文还拖慢响应、触发限流——他不知道钱烧在哪个字段、哪些内容可砍。一个人能做两层:A. Token 浪费审计 CLI,拦截解析 OpenAI/Anthropic 请求体,按工具 schema、历史消息、RAG 段落、系统提示分桶统计 token,输出可裁剪项加预估节省报告;B. Drop-in 压缩代理,挂在 LiteLLM 或网关前置层,做函数组折叠、子句剪枝、动态截断,改一行 baseURL 接入。技术栈 Python/Go + tiktoken + tree-sitter + 现成小模型打分子句重要性;起步约 1500-3000 元(域名、VPS、测试 API 费),1 人 2-3 周出 MVP。上一篇Agent 权限拦截专利简报管 Agent 伸出去的手,这轮管它吃进去烧掉的钱。
创业发现:开源审计工具加按次账单报告
- 开源核心 + Pro 订阅(约 ¥299/年):审计逻辑开源换信任,卖分桶报告、压缩策略与团队看板;首批客户来自 LiteLLM、LangChain 社区里抱怨账单的开发者。
- 按次审计报告(¥500-2000/单):交付 token 分桶明细加裁剪清单,从外包接单社群获客。
门槛:压缩策略覆盖面靠真实请求样本长期积累;风险:上游官方免费工具在持续变强——护城河是跨厂商通用与”先验证省多少、再付费”的证据链。读完今天能做的事:写个小脚本抓一份自己的 LLM 请求体,用 tiktoken 按字段算 token 占比,看工具 schema 和历史消息砍一半能省多少钱。