ubuntu本地部署模型平台有哪些推荐

ubuntu本地部署模型平台有哪些推荐
ubuntu本地部署模型平台有哪些推荐

目前有一个128G显存的算力盒子,用的Ubuntu系统,部署了Ollama配套对应的webUI,用起来还行,但是看到有佬友说LM Studio不错,还了解到有llama.cpp,想咨询下各位佬友用哪个会比较友好,并且我打算将本地部署的模型接入到codex或者claude code中

顺带一问除了cpolar外还有哪些免费的内网穿透软件,现在没公网ip,没域名,所以比较倾向于cpolar,但是带宽又不支撑十几个人一起用

image

6 个帖子 - 3 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文