本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容： 我的帖子已经打上 开源推广 标签： 是 我的开源项目完整开源，无未开源部分： 是 我的开源项目已链接认可 LINUX DO 社区： 是 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 整个项目没有一行古法编程，就不截图了 以上选择我承诺是永久有效的，接受社区和佬友监督： 是 以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出 上一次是老马拉大车，这次轮到手头的这个国产小板子（香橙派AI Pro，昇腾310B芯片）。由于国产生态问题，其实这个板子很少有人去适配模型，而最近面壁智能发布了MiniCPM-V-4.6，小钢炮的SOTA，主打一个端侧和手机运行的小模型，能力也很不错： 而我们这个板子呢，虽然算力不高，但是跑个1.3B应该还是绰绰有余的。 20TOPS版本大概2000块，8T版本更便宜，只要899。折合一下FP16算力差不多也有1080TI水平了，用的unified memory, 24GB内存。最近没啥人折腾，还是要祭出天才程序员，这次不是写CUDA，而是写AscendC自定义算子，把MiniCPM-V-4.6支持起来。下面是项目介绍： 一个完全从零写的 C++/AscendC 推理引擎,把 MiniCPM-V 4.6 跑在 Orange Pi AIPro 20T 板载的 Ascend 310B NPU 上。 文本和图像对话都完全跑在 NPU 上,Python 端只在 CPU 上做 tokenize 和图像预处理,推理热路径完全不依赖 torch_npu 。 通过三轮 cube unit / 自定义 kernel 工作,单 batch 解码从 2.88 → 5.90 tokens/s (~2×), 跑的是完整 24 层 hybrid 线性 + full attention 模型(hidden 1024,vocab 248094,fp16): 阶段 Tokens/s 单步耗时 (ms) 节省 原生 aclnnMm baseline 2.88 350 — + 自定义 cube matmul(M=1) 4.37 229 121 + lm_head 切 16 块走 cube 4.99 200 29 + 向量化 causal-conv1d step kernel 5.90 170 30 测试条件:prompt_T=8,decode 30 个 token。剩下的 ~170 ms / step 主要被 matmul 权重带宽吃掉;下一步只能上权重量化(见 Roadmap )。 视觉塔(SigLIP-so400m → vit_merger → 投影到 LM hidden,总共 27 层 transformer) 也已经移植到 C++/aclnn,端到端对照 HF CPU 参考实现验证过:最终给 LM 用的 image_features 跟 HF 输出的 max_abs_diff = 0.0098 (448×448 输入)。 总体来说上量化版本还有很大的优化空间，先放出来给大家玩玩。项目链接： GitHub - lvyufeng/minicpm-v-4.6-orangepi · GitHub 欢迎大家Star和折腾。 7 个帖子 - 4 位参与者 阅读完整话题
我最开始还以为商家标错价格了，然后问了才知道就是这个价，还很拽的跟我说爱买不买，这帮炒内存的是不是内存条卖不出去了，开始进军嵌入式这边了 9 个帖子 - 5 位参与者 阅读完整话题
IT之家 4 月 16 日消息，科技媒体 liliputing 昨日（4 月 15 日）发布博文，报道称香橙派（Orange Pi）推出 Zero 3W 迷你单板计算机，尺寸仅 65×32mm，搭载全志 A733 处理器，最高配备 16GB LPDDR5 内存。 外观方面，香橙派 Zero 3W 尺寸仅 65×32mm，最高支持 16GB LPDDR5 内存，配备 WiFi 6 无线连接，并通过 FPC 接口提供 PCIe 3.0×1 扩展能力。 核心硬件方面，Zero 3W 搭载全志（Allwinner） A733 处理器。这颗芯片采用八核 CPU 架构，包含两个 Cortex-A76 性能核心和六个 Cortex-A55 能效核心， 并集成一颗玄铁 E902 RISC-V 实时核心。 GPU 选用 Imagination BXM-4-64 MC1，NPU 算力达 3 TOPS，可满足轻量级 AI 推理需求。 存储配置灵活多样，除 microSD 卡槽外，Zero 3W 可选配 32GB eMMC 闪存或 128GB UFS 3.0 存储。 内存提供 1GB、2GB、4GB、8GB、12GB 多种规格，入门型号仅 1GB 内存且无板载存储，高配版本则可达 16GB，远超 Raspberry Pi Zero 2 W 的 512MB 限制。 接口方面，板载 40-pin GPIO 接口、USB 3.1 Type-C（支持 DisplayPort Alt Mode）和 USB 2.0 Type-C 供电口。 用户通过 HDMI 与 USB-C 组合可驱动双显示器，另提供双路 MIPI-CSI 相机接口和一路 MIPI-DSI 显示接口。无线连接升级至 WiFi 6 和蓝牙 5.4 LE，并保留 2-pin 风扇接口。 软件生态支持 Android、OpenHarmony 以及 Ubuntu、Debian 等 GNU / Linux 发行版，售价从约 25 美元（IT之家注：现汇率约合 170.8 元人民币）起步，12GB 内存以上版本超过 100 美元。 值得注意的是，Zero 3W 与 2023 年发布的 Orange Pi Zero 3 差异明显。前代产品采用全志 H618 处理器，最大 4GB 内存，仅支持 WiFi 5，但配备千兆网口。 Zero 3W 虽在性能和无线规格上全面领先，却取消了有线网口，更适合依赖无线连接的物联网应用场景。