如题,wsl 配 rocm 下,sglang 没跑起来,vllm 跑起来了,但是动不动爆显存,只有跑个 2b 的模型才比较稳定,而且推理首字速度体感感觉比纯用 transformer 还慢。
transformer 我试了可以成功跑个 9b 的 gptq 模型(vllm 这个模型跑不成功报错 qwen3.5 什么 config 有问题,claudecode 修不了),是我不会用 vllm 还是消费级显卡就是不适合用这类推理框架?
如题,wsl 配 rocm 下,sglang 没跑起来,vllm 跑起来了,但是动不动爆显存,只有跑个 2b 的模型才比较稳定,而且推理首字速度体感感觉比纯用 transformer 还慢。
transformer 我试了可以成功跑个 9b 的 gptq 模型(vllm 这个模型跑不成功报错 qwen3.5 什么 config 有问题,claudecode 修不了),是我不会用 vllm 还是消费级显卡就是不适合用这类推理框架?
如图这算风控吗,还是什么 2 个帖子 - 2 位参与者 阅读完整话题...
三人 20x 如题 平分 翻车尽力搞 责任一起担 用 CLAUDECODE 优先...
各位大佬,现在不支持5号github账号注册了吗 5 个帖子 - 2 位参与者 阅读完整话题...
我的老号依旧是5小时+周限的模式,一个这两天新开的 business 号,今天第一次用,发现没有了五小时和周限,直接变成...
之前是同个模型的不同模式统一了的,有个edit按钮可以选,现在全部分开了。 这还不是重点,为什么Fable5和claud...
之前订阅的应该是没什么影响,下个月还不清楚...
延展页面 · www-member-500.com.cn
延展页面 · www.youinfo.site
延展页面 · www.aizhushou.shop
延展页面 · www.tcti.cn
延展页面 · www.tcti.cn
延展页面 · www.zybid.cn
延展页面 · www.aizhushou.shop
延展页面 · www.youinfo.site
延展页面 · www.aizhushou.shop
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · www.youinfo.site
延展页面 · www.aizhushou.shop
延展页面 · www.zhenrenqij.com
延展页面 · www.tcti.cn
延展页面 · www-access-500.com.cn
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · www.zybid.cn
延展页面 · www.aizhushou.shop
延展页面 · www.youinfo.site
延展页面 · www.aizhushou.shop
延展页面 · www.tcti.cn
延展页面 · www.tcti.cn
延展页面 · www.huorepgw.com
延展页面 · www.aizhushou.shop
延展页面 · www-ssl-500.com.cn
延展页面 · www.zybid.cn
延展页面 · www.pgdianwz.com
延展页面 · www.youinfo.site