如题,wsl 配 rocm 下,sglang 没跑起来,vllm 跑起来了,但是动不动爆显存,只有跑个 2b 的模型才比较稳定,而且推理首字速度体感感觉比纯用 transformer 还慢。
transformer 我试了可以成功跑个 9b 的 gptq 模型(vllm 这个模型跑不成功报错 qwen3.5 什么 config 有问题,claudecode 修不了),是我不会用 vllm 还是消费级显卡就是不适合用这类推理框架?
如题,wsl 配 rocm 下,sglang 没跑起来,vllm 跑起来了,但是动不动爆显存,只有跑个 2b 的模型才比较稳定,而且推理首字速度体感感觉比纯用 transformer 还慢。
transformer 我试了可以成功跑个 9b 的 gptq 模型(vllm 这个模型跑不成功报错 qwen3.5 什么 config 有问题,claudecode 修不了),是我不会用 vllm 还是消费级显卡就是不适合用这类推理框架?
我这边没有功能,更新也没有,有没有老友有的试试是不是可以撸 1 个帖子 - 1 位参与者 阅读完整话题...
grok 能生成那种看起来很真实 但又那种擦个边 比较猛一点的那种擦边 类似下面的举例 好奇提示词怎么破?看了站内不少关...
速度效率准确性确实是很厉害, 但是贵也是真贵啊。。。。。 随便改了几个问题,一两个小时,几十刀没了...
PDF格式,简历内容控制在两页了,基本都是AI出来的。 RAG和Agent都是从GitHub上找的开源的,让大模型分析技...
如题,小弟的github账号被标记了一段时间了,然后之前尝试过用github支持( https://support.gi...
我们是在硅谷的公司,最近业务扩展,希望找到稳定的东八区工程师。需要你擅长与人沟通,能够快速学习,构建系统降低自己负担等,...
延展页面 · www.pgdybaidu.com
延展页面 · leyu-gametv.com.cn
延展页面 · www.tcti.cn
延展页面 · www.zyzbcg.cn
延展页面 · www.pgtpbaidu.com
延展页面 · www.aizhushou.shop
延展页面 · www.youinfo.site
延展页面 · www.youinfo.site
延展页面 · zixun-leyu.com.cn
延展页面 · www.zyzbcg.cn
延展页面 · www.tcti.cn
延展页面 · www.aizhushou.shop
延展页面 · www.aizhushou.shop
延展页面 · www.jdbbaidu.com
延展页面 · www.tcti.cn
延展页面 · www.youinfo.site
延展页面 · www.aizhushou.shop
延展页面 · www.tcti.cn
延展页面 · www.youinfo.site
延展页面 · www.youinfo.site
延展页面 · www.tcti.cn
延展页面 · leyu-zixun.com.cn
延展页面 · www.zyzbcg.cn
延展页面 · www.aizhushou.shop
延展页面 · www.kawgbaidu.com
延展页面 · www.tcti.cn
延展页面 · leyu-zhubo.com.cn
延展页面 · www.aizhushou.shop
延展页面 · www.zyzbcg.cn
延展页面 · www.youinfo.site