现在这么恐怖了吗？120b的大模型，我们这里内部部署的华为的八卡910b 部署Ds r1 70b当时花了上百万啊，不太懂硬件的感觉现在英伟达也太逆天了吧 9 个帖子 - 5 位参与者 阅读完整话题
最近发生了一件挺好玩的事——我搭的那个中转站，流量炸了。 原因不是上游 API 免费额度用完，是我自己这边的 render 双向流量跑满了 200GB ，然后邮件给我，自动停机了 先说说这逆天小破玩意儿是怎么搭起来的 目标很简单：运营成本无限趋近于零，反正我也用不完，baseurl 和 key 直接给朋友用了。 具体做法是聚合上游几百个模型，用 render 走 docker 部署，数据库用的 GitHub 私有仓库，然后把 BaseURL 和 Key 直接暴露出去 这里写了一部分上游，还有一些其他的比如 cloudflare 这类，怕被你们薅死就没写 https://www.v2ex.com/t/1205711 哦，实测建号池是坑，CPA 代码没有指纹模拟，sub2api 就模拟了个请求头，被审计到直接 403 封号，不知道那些拼车的是怎么解决封号问题的，虽然说无论是走 apple store 还是 Credit Cards 正规付款，争议退款是每个消费者的权力，但不建议滥用哈，大家自行斟酌吧 非要建高级模型 API 建议去看看企业计划 API 或者新用户试用 API ，比如 AWS （亚马逊云那个）目前有 unlimited Claude API ，可以找客服申请 Claude 模型使用权限，而且不限量，Azure 有企业计划可以给初创企业提供几千美元的 Chatgpt-5.5 API ，国外很多企业也是拿这些渠道的 API 套审计给员工用，比如 v 友推荐的 https://github.com/maximhq/bifrost 可以审计对话记录，时间，用途这类，完全符合业务规定，当然用的时候得注意 baseurl 是不是 aws 和 azure 的，别给骗了，论坛里面的被骗不像闲鱼，还能披露和追回。 讲讲我的蜜罐设计 主要提供服务的模型，我把它别名成比如 Zaku-3.5 ，用的是薅的 AWS 试用金 ，即使被刷爆也可以接受的廉价账号，听起来就像个杂牌小垃圾，但居然没人刷，我和朋友一起用，两个多月就用了$180 多一些。 建站的时候，把两个垃圾模型——gpt-oss-120b 和 gpt-oss-20b——改了个别名，叫做： gpt-5.5 gpt-5.4 一开始没啥人去用，最近 GPT-5.5 用量突然变多，gpt-oss-120b 用量占 99.98%以上，也不知道他们是怎么知道 baseurl 和 key 的，发现有人用之后我和朋友商量了一下，就把 AWS API 轮换掉了，移动到另一个 render 账户和域名里面，顺便也想看看他们是怎么玩 API 的。 蜜罐把我自己撑爆了 大量外部请求涌进来之后，双向流量哗哗地跑，这个月直接把 render 的双向 200GB 上限给吃满了，直到前几天晚上，朋友给我报告说 403 ，去看 render 邮件才知道是流量熔断了，切个 render 账户重新部署之后还在同域名下继续跑。 日志里躺着些什么 因为用的是 CliproxyAPI ，日志和对话记录都在，但是前几天重写部署的时候更新了一下 docker 镜像，用量统计被作者删除了，那么正好放弃屎山，重新部署更优雅的。 打算找个周末好好翻一翻，看看这些冲着 gpt-5.5 来的人是在聊啥，到时候有意思的内容再单独写一篇。 后续打算怎么搞 dedirock 最近交付给我了 6.07 美元/年的 Promo VPS Saver LA BF 2025 ，1 核心 2GB 内存 3GB 储存 4000 GB 流量上限。还白嫖到了 oracle 的 AMD vps ，虽然只有 50Mbps 但好在无限制流量，应该会暂时拿这两台顶着。 后面 API 打算迁移到 https://github.com/maximhq/bifrost ，细粒度审计对话记录和用量，比依赖开发者的 CPA 强大太多 总体来说这个思路还是跑通了，只是没想到瓶颈不在上游成本，而在自己这边的出口流量。 下次再聊。
cerebras的速度相信大伙们都体验过, 一直是用来做LLM翻译的白月光. gpt-oss-120b和zai-glm-4.7下架了一段时间后现在又回归了. 虽说只有每分钟5次, 但是相信大伙手上都不止一个key吧, 趁现在能用狠狠滴蹬说不定哪天又无了. 4 个帖子 - 4 位参与者 阅读完整话题
因科研需要调用这个模型，并发量越高越好，找了一圈没找到，求佬友们支支招 1 个帖子 - 1 位参与者 阅读完整话题
目前在犹豫dpg spark 还是等mac studio。 Macstudio 情况不容乐观，内存版本一砍再砍。 有没有玩过关注过的佬可以给点建议， 1.期望能达到50tokens/s以上，最好100tokens/s 2.能拓展，后续可以追加机器 3.能耗低 ps：已经订阅了gpt pro5x。自部署主要是为了追求速度和原生长程任务的连续执行。不考虑macbook pro 4 个帖子 - 4 位参与者 阅读完整话题
openai/gpt-oss-120b:free用了一下也不是不能用，在Hermes也凑合用吧，干活是慢一点，但起码也没卡壳子。deepseek2api就只能聊聊天对话一下了 1 个帖子 - 1 位参与者 阅读完整话题
IT之家 4 月 13 日消息，超频三 (CPS, Pccooler) 本月 10 日发布预告，宣布将推出新款处理器风冷散热器 RZ700D PRO ARGB。 从设计上来看，RZ700D PRO ARGB 延续了原版 RZ700D 的 加厚单塔 + 双风扇 基本布局。IT之家了解到，这款风冷将 搭载 F7 X120B 系列风扇 ，一正一反形成推挽式风道，同时差速以避免共振拍频。此外这款散热器还将配备金属顶盖，让散热器的外观更为整洁。 超频三表示 RZ700D PRO ARGB 的 提升主要在噪音与听感方面 ；该企业亦提到，F7 X120B 系列风扇的反叶版本将于 5 月中上旬单独贩售。