WWW.YOUINFO.SITE
标签聚合 命中

/tag/命中

LinuxDo 最新话题 · 2026-06-09 16:55:09+08:00 · tech

今天自己买的号额度不够了,买了两个中转站试试。发现有时候突然有一次请求直接0 cacheRead,本来命中只会花0.0x$,结果直接变成0.5$左右,导致余额掉的特别快。 于是我通过OTEL抓到了请求体,抓到了连续两次请求(一次命中了缓存,一次0缓存命中),保存了请求体。人工对比和AI对比,前缀都是匹配的,只有后面的请求多了上一轮工具的输出。 所以我在想:OAI如果对话中间切换账号,cache还能命中吗,怀疑中转站轮询账号了,导致cache失效。附上一个连续调用中,突然有一次没有命中的开销(要翻10倍了): 我昨天一度怀疑是我的opencode新版本出现问题了,莫名其妙突然没有缓存命中: pan iron: 看这个结果,我怀疑是不是OAI内部跨集群的缓存无法复用还是啥情况?莫名其妙就丢一轮的缓存 neteroster: 这个没什么很奇怪的,缓存命中从来没有保证的说法,infra很复杂,oai这种大厂更加如此,有可能你原来的那个请求对应的节点/GPU在跑其他优先级更高的任务,或者因为一些调度原因无法继续保存你的缓存,各种各样的情况都是有可能的 14 个帖子 - 5 位参与者 阅读完整话题

LinuxDo 最新话题 · 2026-06-07 23:03:33+08:00 · tech

打开拼车后台,研究了下风控中心的配置项,看到一个未命中记录开关,开了之后,会将用户输入的提示词生成摘要+长字符截断,完整记录下来,如果涉及敏感信息,还能保留,如图所示(这条消息是我自己发的): 以前论坛有过中转安全的话题讨论,可能文字描述上还没什么感觉,这实操一看还是有点“震撼”的. 未来使用中转服务,不管渠道来自哪里,还是要注意自己的隐私,做好打码和脱敏 理论上只要套了一层服务,中间这层网关服务就能拦截所有信息.论坛很多非技术人员可能单纯听别人从文字上说泄漏之类的,不是很直观,所以这个只是稍微展示一下. 至于隐私重不重要,如何保护,我觉得首先是服务使用者要考虑的问题,比如:优选可信渠道,提前做好内容审查等 17 个帖子 - 15 位参与者 阅读完整话题