WWW.YOUINFO.SITE
标签聚合 中间

/tag/中间

LinuxDo 最新话题 · 2026-06-09 16:55:09+08:00 · tech

今天自己买的号额度不够了,买了两个中转站试试。发现有时候突然有一次请求直接0 cacheRead,本来命中只会花0.0x$,结果直接变成0.5$左右,导致余额掉的特别快。 于是我通过OTEL抓到了请求体,抓到了连续两次请求(一次命中了缓存,一次0缓存命中),保存了请求体。人工对比和AI对比,前缀都是匹配的,只有后面的请求多了上一轮工具的输出。 所以我在想:OAI如果对话中间切换账号,cache还能命中吗,怀疑中转站轮询账号了,导致cache失效。附上一个连续调用中,突然有一次没有命中的开销(要翻10倍了): 我昨天一度怀疑是我的opencode新版本出现问题了,莫名其妙突然没有缓存命中: pan iron: 看这个结果,我怀疑是不是OAI内部跨集群的缓存无法复用还是啥情况?莫名其妙就丢一轮的缓存 neteroster: 这个没什么很奇怪的,缓存命中从来没有保证的说法,infra很复杂,oai这种大厂更加如此,有可能你原来的那个请求对应的节点/GPU在跑其他优先级更高的任务,或者因为一些调度原因无法继续保存你的缓存,各种各样的情况都是有可能的 14 个帖子 - 5 位参与者 阅读完整话题