今天自己买的号额度不够了，买了两个中转站试试。发现有时候突然有一次请求直接0 cacheRead，本来命中只会花0.0x$，结果直接变成0.5$左右，导致余额掉的特别快。
于是我通过OTEL抓到了请求体，抓到了连续两次请求（一次命中了缓存，一次0缓存命中），保存了请求体。人工对比和AI对比，前缀都是匹配的，只有后面的请求多了上一轮工具的输出。
所以我在想：OAI如果对话中间切换账号，cache还能命中吗，怀疑中转站轮询账号了，导致cache失效。附上一个连续调用中，突然有一次没有命中的开销（要翻10倍了）：
我昨天一度怀疑是我的opencode新版本出现问题了，莫名其妙突然没有缓存命中：
pan iron:
看这个结果，我怀疑是不是OAI内部跨集群的缓存无法复用还是啥情况？莫名其妙就丢一轮的缓存
neteroster:
这个没什么很奇怪的，缓存命中从来没有保证的说法，infra很复杂，oai这种大厂更加如此，有可能你原来的那个请求对应的节点/GPU在跑其他优先级更高的任务，或者因为一些调度原因无法继续保存你的缓存，各种各样的情况都是有可能的
14 个帖子 - 5 位参与者
来源: LinuxDo 最新话题查看原文