本人手头有两张4060，一直很想跑稍大一些（相比9B 4B）的模型，基于最近llama.cpp支持的一些新功能运行35B A3B模型测试。 模型 Qwen3.6 35B A3B APEX-MTP Qwen3.6-35B-A3B-APEX-MTP-I-Mini.gguf -》13.7 GB 省流： 台式机和USB4拓展坞都可以跑在8g显存的显卡上，MTP的速度挺快的， 30+tokens/s ，代码能跑到 45-50 因为显存不够，上下文prompt太多了以后处理起来很慢，拓展坞情况比我的台式机慢3-4倍 补充： 台式机后续尝试了I-Compact和I-Quality，发现速度有下降，但是不明显 4060还是玩9B吧…跑起来还快点，当然不嫌慢，等这个慢慢跑也行（我记得特总视频也提过这一点） 8 个帖子 - 4 位参与者 阅读完整话题
这个配置能跑起来qwen 3.6 35B A 3B 吗？速度有多少，不行就专门用来打游戏了 6 个帖子 - 5 位参与者 阅读完整话题
在网上找的，使用这个配置不行，佬们都用什么？我还是想保留他的思考模式，只是翻译不需要。提示词前加/no_think也不行。 12 个帖子 - 6 位参与者 阅读完整话题
IT之家 4 月 28 日消息，中国移动自主研发的九天 35B 通用大模型将在第九届数字中国建设峰会上正式发布。摩尔线程官方昨晚宣布，其基于旗舰级 AI 训推一体全功能 GPU MTT S5000，依托成熟的 MUSA 软件栈与高性能算子优化， 已率先完成九天 35B 模型的全流程适配与推理验证 。 据介绍，本次适配中，摩尔线程基于自研 MUSA 软件栈与 SGLang-MUSA 高性能推理引擎，深度打通九天 35B 模型推理全链路。 MTT S5000 基于第四代 MUSA“平湖”架构打造， 单卡 AI 稠密算力可达 1000 TFLOPS ，支持从 FP8 到 FP64 全精度计算，匹配九天 35B 大模型在长文本处理与高并发响应方面的核心需求。 摩尔线程通过 MUSA C 开发框架、muDNN 计算库与 MATE 开源算子库的全栈优化，针对九天 35B 模型特有的注意力机制与长序列推理进行深度适配，确保模型在 MTT S5000 上高效执行。 在标准推理场景下，MTT S5000 可稳定支撑九天 35B 模型的高并发请求 。 IT之家注：MTT S5000 是专为大模型训练、推理及高性能计算而设计的全功能 GPU 智算卡，基于第四代 MUSA 架构“平湖”打造。其单卡 AI 算力最高可达 1000 TFLOPS，配备 80GB 显存，显存带宽达到 1.6TB/s，卡间互联带宽为 784GB/s，完整支持从 FP8 到 FP64 的全精度计算。
是在hermes中生成的，提示词如下： 你是 Apple Inc 的顶级 UI 设计师，以 iOS 18 的设计风格（毛玻璃效果、高斯模糊、动态渐变、细腻阴影）创建一个单个HTML文件（包含完整CSS和JavaScript）。实现横板天气页面，包含4个并排的动画天气卡片： 晴天（太阳光线、动态光晕） 大风（飘动云朵、摇曳树木、风线） 暴雨（下落雨滴、形成水洼、闪电） 暴雪（下落雪花、堆积效果） 卡片需深色背景，支持按钮切换天气状态，实现流畅交互和微动效。代码必须可直接运行，美观度优先。 感觉还不错啊（是我审美有问题吗？ 2 个帖子 - 2 位参与者 阅读完整话题
感觉本地的模型有很大的潜力，但也有局限，主要是受限于硬件吧。以下几点： 除了复杂架构调整分析工作外，日常的 CRUD 开发、项目总结、文档翻译、需求输入和模块的 Bug 修复上，几乎可以替代在线模型。 复杂分析以及深度的问题查找、大上下文还受限于模型规模和内存。 经过豆包和模型自身给出 llm 优化建议，使用 GGUF 模型能跑出 33 token/s 的速度，使用 MLX 能到 38 token/s 。 36G 内存不够，开太大上下文会爆显存，只能重启。 第一次体会到 Mac 的性能居然这么不够用，搞得都想换 M5 Max 了，但感觉专门为 AI 也不是特别值得。
感觉本地的模型有很大的潜力，但也有局限，主要是受限于硬件吧。以下几点： 除了复杂架构调整分析工作外，日常的 CRUD 开发、项目总结、文档翻译、需求输入和模块的 Bug 修复上，几乎可以替代在线模型。 复杂分析以及深度的问题查找、大上下文还受限于模型规模和内存。 经过豆包和模型自身给出 llm 优化建议，使用 GGUF 模型能跑出 33 token/s 的速度，使用 MLX 能到 38 token/s 。 36G 内存不够，开太大上下文会爆显存，只能重启。 第一次体会到 Mac 的性能居然这么不够用，搞得都想换 M5 Max 了，但感觉专门为 AI 也不是特别值得。
感觉本地的模型有很大的潜力，但也有局限，主要是受限于硬件吧。以下几点： 除了复杂架构调整分析工作外，日常的 CRUD 开发、项目总结、文档翻译、需求输入和模块的 Bug 修复上，几乎可以替代在线模型。 复杂分析以及深度的问题查找、大上下文还受限于模型规模和内存。 经过豆包和模型自身给出 llm 优化建议，使用 GGUF 模型能跑出 33 token/s 的速度，使用 MLX 能到 38 token/s 。 36G 内存不够，开太大上下文会爆显存，只能重启。 第一次体会到 Mac 的性能居然这么不够用，搞得都想换 M5 Max 了，但感觉专门为 AI 也不是特别值得。
感觉本地的模型有很大的潜力，但也有局限，主要是受限于硬件吧。以下几点： 除了复杂架构调整分析工作外，日常的 CRUD 开发、项目总结、文档翻译、需求输入和模块的 Bug 修复上，几乎可以替代在线模型。 复杂分析以及深度的问题查找、大上下文还受限于模型规模和内存。 经过豆包和模型自身给出 llm 优化建议，使用 GGUF 模型能跑出 33 token/s 的速度，使用 MLX 能到 38 token/s 。 36G 内存不够，开太大上下文会爆显存，只能重启。 第一次体会到 Mac 的性能居然这么不够用，搞得都想换 M5 Max 了，但感觉专门为 AI 也不是特别值得。
感觉本地的模型有很大的潜力，但也有局限，主要是受限于硬件吧。以下几点： 除了复杂架构调整分析工作外，日常的 CRUD 开发、项目总结、文档翻译、需求输入和模块的 Bug 修复上，几乎可以替代在线模型。 复杂分析以及深度的问题查找、大上下文还受限于模型规模和内存。 经过豆包和模型自身给出 llm 优化建议，使用 GGUF 模型能跑出 33 token/s 的速度，使用 MLX 能到 38 token/s 。 36G 内存不够，开太大上下文会爆显存，只能重启。 第一次体会到 Mac 的性能居然这么不够用，搞得都想换 M5 Max 了，但感觉专门为 AI 也不是特别值得。
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
我是windows上llama.cpp部署的，先看效果图。 这里面，我用的模型是 unsloth 量化的 Qwen3.6-35B-A3B-UD-IQ1_M 模型。 得益于其超强的量化，整个模型可以完美装在 2080ti 11g 显存里面，用 q4 量化上下文可以跑到128k 的上下文。 单并发 67 tps 的速度，如果2-4并发最多可以翻倍tps。 模型性能 跑在 pi-coding-agent 里面绰绰有余， 我让他复现了一个自动证明系统，要求如下 最后也是保质保量完成了，而且自己跑通了测试流程。 为什么不用qwen 3.6 27B 我下载了qwen 3.6 27B 比较小的量化版本，可以全部跑在显存里面，但是上下文只有32k而且tps只有22左右，而且我接入 pi-coding-agent 里面还发生了死循环，感觉不太可用，虽然网上说 27B 版本很牛，但是我还是觉得moe版本的更好。 有什么用 本地部署可以搞一些隐私数据，其他我觉得真的不如薅点免费或者低价的api。 接入openclaw应该是能玩的，但是电费成本算下来不一定打得过低价api。 不过在二手1200元左右淘到的2080ti上跑起来agent还是很有成就感的 简单的 benchmark 用了 GitHub - stevibe/BenchLocal: Test LLMs on real tasks. Compare models side-by-side. · GitHub 这个来做测试。跑的是其中这个 DataExtract-15 benchmark。 对比模型找了好久，感觉不是很能找到主流的更弱的模型。 注意，这个 Qwen3.6-35B-A3B-UD-IQ1_M 是超级量化版本，不代表 Qwen 该模型满血水平。 Model Total Clean Extraction Noisy and Informal Multi-Entity Implicit and Missing Complex Documents GLM Model 91 97 86 92 90 91 DeepSeek V4 Flash Free 90 95 84 92 85 97 Step 3.5 Flash 83 95 57 82 97 84 Local qwen 81 85 69 84 84 78 注： deepseek用的zenmux api，然后Step用的魔搭api，然后glm是学校本地部署的，我猜是4.7模型。 结论 ：勉勉强强能打step 3.5 flash，也是没出乎意料垫底了。 碎碎念（如果你也想部署） 想清楚自己想要什么，如果load一点模型到内存里面，会减至少一半tps，但是上下文更多，能跑的模型更好。 具体运行代码 \llama-server.exe -m "C:\Users\……\Qwen3.6-35B-A3B-UD-IQ1_M.gguf" -c 131072 -ngl 99 --parallel 1 --flash-attn on --cache-type-k q4_0 --cache-type-v q4_0 -b 512 -ub 64 --port 8080 --host 0.0.0.0 ，这是没加载识图模型的版本，qwen该模型支持识图，但是显存开销会变大。 pi-coding-agent 很轻便，很好用，适合本地模型。 1 个帖子 - 1 位参与者 阅读完整话题
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.