如题,wsl 配 rocm 下,sglang 没跑起来,vllm 跑起来了,但是动不动爆显存,只有跑个 2b 的模型才比较稳定,而且推理首字速度体感感觉比纯用 transformer 还慢。
transformer 我试了可以成功跑个 9b 的 gptq 模型(vllm 这个模型跑不成功报错 qwen3.5 什么 config 有问题,claudecode 修不了),是我不会用 vllm 还是消费级显卡就是不适合用这类推理框架?
如题,wsl 配 rocm 下,sglang 没跑起来,vllm 跑起来了,但是动不动爆显存,只有跑个 2b 的模型才比较稳定,而且推理首字速度体感感觉比纯用 transformer 还慢。
transformer 我试了可以成功跑个 9b 的 gptq 模型(vllm 这个模型跑不成功报错 qwen3.5 什么 config 有问题,claudecode 修不了),是我不会用 vllm 还是消费级显卡就是不适合用这类推理框架?
以前的公司,能用 Excel 讲清楚的,绝对不用 Word,能用 Word 讲清楚的,绝对不需要用到 PPT。 换了工作...
三人 20x 如题 平分 翻车尽力搞 责任一起担 用 CLAUDECODE 优先...
经常在公司和自己的电脑来回切换,而且每台电脑上都装了三四个agent,我想把这些agent的skill command ...
是真省心啊,拆分好任务肥波埋头就是干,一点不含糊,定位问题快准狠 2 个帖子 - 2 位参与者 阅读完整话题...
捣鼓了一周,搞了一个写小说的ai小工具,终于跑通了,然后 1 个帖子 - 1 位参与者 阅读完整话题...
我是一个大i人,但心理很e,有的时候不说话是因为不敢兴趣而不知道该说什么,有时候不说话是因为对别人不太熟有想说的话也不会...
延展页面 · www.tcti.cn
延展页面 · www.aizhushou.shop
延展页面 · www.youinfo.site
延展页面 · www.aizhushou.shop
延展页面 · aoke-cn-pitch.com.cn
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · www.tcti.cn
延展页面 · www.aizhushou.shop
延展页面 · www.youinfo.site
延展页面 · www.youinfo.site
延展页面 · www.aizhushou.shop
延展页面 · www.tcti.cn
延展页面 · www.aizhushou.shop
延展页面 · www.tcti.cn
延展页面 · www.gxzyzb.cn
延展页面 · www.pgdybaidu.com
延展页面 · www.youinfo.site
延展页面 · aokeleague.com.cn
延展页面 · www.aizhushou.shop
延展页面 · www.gxzyzb.cn
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · www.pgtpbaidu.com
延展页面 · www.aizhushou.shop
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · www.tcti.cn
延展页面 · www.aizhushou.shop
延展页面 · www.youinfo.site