刷音符看到别人的 命中率都是97-99,不知道为啥我的命中率好低啊,我是大概92左右,大概有哪些方面原因?求指教 3 个帖子 - 3 位参与者 阅读完整话题
token plan压根没有命中缓存的机制,为什么API计费存在命中缓存优惠,而token plan没有呢,优惠被谁吃了 1 个帖子 - 1 位参与者 阅读完整话题
今天codex用起来,感觉缓存命中的很少了,input输入变成几千几万的,你们会吗 1 个帖子 - 1 位参与者 阅读完整话题
现在chat模式基本命中不了缓存,我写了chat转responses的网关,虽然命中缓存上升了,但是有时候又会降智,或者多会话的时候,会导致上下文极低; 有没有大佬开发过比较完善的网关,或者有没有其他的替代方案呢 1 个帖子 - 1 位参与者 阅读完整话题
使用ds,chatgpt时,缓存命中率不高,站内或者其他地方,有没有专门讲解如何优化的,有佬能指一下路么? 1 个帖子 - 1 位参与者 阅读完整话题
今天自己买的号额度不够了,买了两个中转站试试。发现有时候突然有一次请求直接0 cacheRead,本来命中只会花0.0x$,结果直接变成0.5$左右,导致余额掉的特别快。 于是我通过OTEL抓到了请求体,抓到了连续两次请求(一次命中了缓存,一次0缓存命中),保存了请求体。人工对比和AI对比,前缀都是匹配的,只有后面的请求多了上一轮工具的输出。 所以我在想:OAI如果对话中间切换账号,cache还能命中吗,怀疑中转站轮询账号了,导致cache失效。附上一个连续调用中,突然有一次没有命中的开销(要翻10倍了): 我昨天一度怀疑是我的opencode新版本出现问题了,莫名其妙突然没有缓存命中: pan iron: 看这个结果,我怀疑是不是OAI内部跨集群的缓存无法复用还是啥情况?莫名其妙就丢一轮的缓存 neteroster: 这个没什么很奇怪的,缓存命中从来没有保证的说法,infra很复杂,oai这种大厂更加如此,有可能你原来的那个请求对应的节点/GPU在跑其他优先级更高的任务,或者因为一些调度原因无法继续保存你的缓存,各种各样的情况都是有可能的 14 个帖子 - 5 位参与者 阅读完整话题
打开拼车后台,研究了下风控中心的配置项,看到一个未命中记录开关,开了之后,会将用户输入的提示词生成摘要+长字符截断,完整记录下来,如果涉及敏感信息,还能保留,如图所示(这条消息是我自己发的): 以前论坛有过中转安全的话题讨论,可能文字描述上还没什么感觉,这实操一看还是有点“震撼”的. 未来使用中转服务,不管渠道来自哪里,还是要注意自己的隐私,做好打码和脱敏 理论上只要套了一层服务,中间这层网关服务就能拦截所有信息.论坛很多非技术人员可能单纯听别人从文字上说泄漏之类的,不是很直观,所以这个只是稍微展示一下. 至于隐私重不重要,如何保护,我觉得首先是服务使用者要考虑的问题,比如:优选可信渠道,提前做好内容审查等 17 个帖子 - 15 位参与者 阅读完整话题
想问问各位佬友,我这cc调用ds的命中情况如何 cc switch上面统计的成本和我的实际消费咋还不一样呢(实际花的更多) 4 个帖子 - 3 位参与者 阅读完整话题
上个月用kiro反代的时候,就发现缓存命中率太低了,用gpt更是只有%10几,但是codex用gpt能有90%以上的缓存命中率,是不是只要不是官方的,缓存命中就上不来 14 个帖子 - 8 位参与者 阅读完整话题
如题,我把君の的公益大佬的new-api接到了直接sub2api里, 然后电脑上用Claude Code接入使用gpt模型,发现缓存总是命中不到,怎么解决啊?是我的sub2api配置问题吗 5 个帖子 - 4 位参与者 阅读完整话题
今天重置之后用cpa感觉缓存命中率有点低? 我是把原来的轮训改成了填充,然后+会话粘性,感觉缓存命中率比较低,各位佬友有这种情况吗? 1 个帖子 - 1 位参与者 阅读完整话题
缓存命中也不达标,推理质量也不行,工具能力也不行。看不懂了有点,这是第几个不认识官key的检测站了? 六一儿童节总不能真拿我当儿童吧?Excuse me? 9 个帖子 - 7 位参与者 阅读完整话题
太爽了,deepseek 缓存命中99.76% 写了一下午的代码,果然工具很重要,用 cc 配 ds 就感觉慢不适合。 24 个帖子 - 16 位参与者 阅读完整话题
我是在cockpit当中配置的,可是没有命中缓存就让我有些搞不懂了,有佬说一下是什么问题吗? 3 个帖子 - 2 位参与者 阅读完整话题
大家使用的 OpenClaw 是怎么提高 DeepSeek 命中率的,按了 OpenClaw 后,应该做哪些优化,大家来交流下,命中率提高节约 token 应该怎么设置配置尼,这玩意你们是怎么设置配置的?
大家使用的 OpenClaw 是怎么提高 DeepSeek 命中率的,按了 OpenClaw 后,应该做哪些优化,大家来交流下,命中率提高节约 token 应该怎么设置配置尼,这玩意你们是怎么设置配置的?
大家使用的 OpenClaw 是怎么提高 DeepSeek 命中率的,按了 OpenClaw 后,应该做哪些优化,大家来交流下,命中率提高节约 token 应该怎么设置配置尼,这玩意你们是怎么设置配置的?
大家使用的 OpenClaw 是怎么提高 DeepSeek 命中率的,按了 OpenClaw 后,应该做哪些优化,大家来交流下,命中率提高节约 token 应该怎么设置配置尼,这玩意你们是怎么设置配置的?
大家使用的 OpenClaw 是怎么提高 DeepSeek 命中率的,按了 OpenClaw 后,应该做哪些优化,大家来交流下,命中率提高节约 token 应该怎么设置配置尼,这玩意你们是怎么设置配置的?
大家使用的 OpenClaw 是怎么提高 DeepSeek 命中率的,按了 OpenClaw 后,应该做哪些优化,大家来交流下,命中率提高节约 token 应该怎么设置配置尼,这玩意你们是怎么设置配置的?