根据kvcache大小预测下国模价格

根据kvcache大小预测下国模价格
根据kvcache大小预测下国模价格

刚才让模型分析了一下 各家开源模型的 KV cache 的规模(120k bf16)。
发现模型的定价基本上是跟kvcache的大小是高度正相关的。
鉴于当前ds-v4最新的架构引领,估计新的国模肯定会快速跟进新架构设计,并且大幅降价(80%以上).
存储芯片的价格可能不太好预测, 虽然cache存储量大幅降低了, 但是用户量+需求量还在井喷增长, 二级市场可能会相对降温.

image
image

2 个帖子 - 2 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文