由于华子实在是不给在公网（蓝区）的设备，内网又没有什么好的ai用，只能来化缘了。。之前做的那个candle库基本上单算子和整网性能已经持平或者优于torch npu了，但是机器给收走了，各位佬友有没有能赞助一下的，可以包训推优化。 2 个帖子 - 1 位参与者 阅读完整话题
e356ca5bd9554a46990d45d33e631376 d78935934ae6461083c60278f8775f27 805b868fc3dd4c1ca73b2ae75d325f17 82d2e2c226934bf0b7a5414fd006a185 54e8b6c78aff4f24a0017abdf4048110 5ea9fb52de8d415cb8556f25ed82f218 9ad4ffd46cc147f8926b671fb6f2884c f238de3736354cacab65d373d6029432 827716f878e24853b718ada861b0f015 e769ea525caa440f8a5e6e2d7009910b 分享给有需要的人，先到先得 1 个帖子 - 1 位参与者 阅读完整话题
ithome.com 科大讯飞星火 X2-Flash 模型发布：基于华为昇腾 910B 集群训练，最大 256K 上下文 - IT之家 星火 X2-Flash 采用 MoE 架构，总参数 30B，最大支持 256K 上下文，宣称在智能体、代码等能力上实现了大幅提升，基于华为昇腾 910B 集群训练完成。 9 个帖子 - 5 位参与者 阅读完整话题
IT之家 4 月 29 日消息，科大讯飞星火 X2-Flash 模型今日正式发布，同步开放 API。 星火 X2-Flash 采用 MoE 架构， 总参数 30B，最大支持 256K 上下文 ，宣称在智能体、代码等能力上实现了大幅提升，基于 华为昇腾 910B 集群 训练完成。 目前，AstronClaw、Loomy 已率先接入星火 X2-Flash。 科大讯飞表示，经 AstronClaw 实测，星火 X2-Flash 在深度研究报告、Skill 管理与调用、系统控制与执行等 多类“养龙虾”最常用的任务上效果接近业界万亿级参数模型效果 ；在相同工作流下，整体 token 消耗不到当前主流大尺寸模型的三分之一，降低了开发者构建复杂 Agent 应用的使用成本。 以创建一个复杂的视频生成 Skill 为例，星火 X2-Flash 在了解详细需求后快速生成，并给出技能结构、核心功能和使用案例等关于 Skill 的详细说明。 科大讯飞介绍称，星火 X2-Flash 率先在国产算力上实现了 DSA（稀疏注意力）与 MTP（多 token 预测）结合的长文本高效训练，上下文拓展至 256K，通过亲和国产芯片的算子和分布式训练策略深度优化实现训练效率相比同规模 A800 集群从 20% 提升到 90%， 解决了智能体长上下文在国产芯片训练慢的难题 。 在智能体强化学习训练场景，星火 X2-Flash 通过上述的算法创新 + 工程创新，大幅提升了采样推理效率，相对于非 DSA 结构的采样解码效率最高可以提升 2 倍以上。该突破， 一定程度缓解了 910B 上智能体长交互场景下采样效率过低影响 RL 训练问题 ，为后续的大规模强化学习对齐训练扫清了算力障碍。 星火 X2-flash 已实现了 OpenClaw、Claude Code 等主流 Agent 框架的深度兼容。 IT之家附 API 地址如下： https://xinghuo.xfyun.cn/sparkapi
公司要内网开发，需要部署一个 AI Coding 大模型，有 16 张昇腾 910B4 的卡。我之前没用过昇腾，想请教一下：基于这 16 张卡，有哪些开发效果比较好的模型（比如 deepseek v4、glm5.1、qwen系列等）推荐？一般需要多少张 910B4 能跑得比较舒服？部署量化版本的模型效果是不是不太好，那部署原始权重的模型（没量化）16张卡够用吗？晟腾卡上部署大模型在软件/框架上有什么要求吗？谢谢各位佬解答！ 6 个帖子 - 4 位参与者 阅读完整话题
据说一个910B2服务器能稳定服务20路，这个什么水平，明天去问问价格看看 1 个帖子 - 1 位参与者 阅读完整话题
老登们下班了，现在可以霍霍服务器了 vllm-ascend部署文档： DeepSeek-V4 — vllm-ascend 模型： DeepSeek-V4-Flash-w8a8-mtp · 模型库 启动成功： 先问一下洗车问题： 逻辑OK 跑一下文档中的数据集(GSM8K，数学推理能力) 速度慢的发指 ，10个并发~290~480 tokens/s (毕竟只有一台机器，速度上不去) 先去吃个饭，吃完再来看一下 2 个帖子 - 2 位参与者 阅读完整话题