如题,wsl 配 rocm 下,sglang 没跑起来,vllm 跑起来了,但是动不动爆显存,只有跑个 2b 的模型才比较稳定,而且推理首字速度体感感觉比纯用 transformer 还慢。
transformer 我试了可以成功跑个 9b 的 gptq 模型(vllm 这个模型跑不成功报错 qwen3.5 什么 config 有问题,claudecode 修不了),是我不会用 vllm 还是消费级显卡就是不适合用这类推理框架?
如题,wsl 配 rocm 下,sglang 没跑起来,vllm 跑起来了,但是动不动爆显存,只有跑个 2b 的模型才比较稳定,而且推理首字速度体感感觉比纯用 transformer 还慢。
transformer 我试了可以成功跑个 9b 的 gptq 模型(vllm 这个模型跑不成功报错 qwen3.5 什么 config 有问题,claudecode 修不了),是我不会用 vllm 还是消费级显卡就是不适合用这类推理框架?
最近攒够了500积分原本想换冰佬的公益站,但是看佬友说冰佬的不能用了 求大家推荐一个稳定的公益站 2 个帖子 - 2 位...
今晚打开kimi时看到的: 大胆的预测一波,接下来还有更多的平台参与世界杯话题。 1 个帖子 - 1 位参与者 阅读完整...
不是 ins think pro 了 1 个帖子 - 1 位参与者 阅读完整话题...
1500的free 十天就登完了。 现在的状态:国模又看不上,ANY又登完了,浑身痒,继续搓free是更好的选择吗? 4...
简直就是在反向升级,我看很多都是别人pull进来的,希望作者不要用别人的pull request了,自己慢慢干,不必要优...
我看又能开了,有大佬开了吗。是速蹬还是? 5 个帖子 - 3 位参与者 阅读完整话题...
延展页面 · www.youinfo.site
延展页面 · www.aizhushou.shop
延展页面 · www.tcti.cn
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · www.aizhushou.shop
延展页面 · www.zhenrenqij.com
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · www.aizhushou.shop
延展页面 · www.aizhushou.shop
延展页面 · leyu-branch.com.cn
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · www.gxxszb.com
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · www.aizhushou.shop
延展页面 · www.huorepgw.com
延展页面 · www.aizhushou.shop
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · www.tcti.cn
延展页面 · www.aizhushou.shop
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · www.youinfo.site
延展页面 · leyu-cn-branch.com.cn
延展页面 · www.gxxszb.com
延展页面 · www.aizhushou.shop