目前有一台闲置 H200(显存141Gb)*8 的服务器,想部署本地模型体验一波,目前考虑的有2个,GLM-5.1-FP8和Kimi-2.6,有佬深度使用过哪个更强一些吗,或者还有其他模型推荐吗
模型 架构 专家数 参数量和激活 模型权重 HuggingFace 链接 Kimi K2.6 MoE 384 约 1T 总参 / 32B 激活 595GB moonshotai/Kimi-K2.6 GLM-5.1-FP8 MoE 约 256 约 744B 总参 / 约 40B 激活 756GB zai-org/GLM-5.1-FP86 个帖子 - 4 位参与者