最近在看 Kubernetes 上 AI 推理服务的冷启动问题，发现很多时候慢的不只是模型加载，容器镜像本身也很夸张。 比如 vLLM 这类镜像，里面有 PyTorch 、CUDA 、Python 依赖、系统库，动不动就是 10GB+。传统 containerd / overlayfs 路径下，节点要先完整下载并解压镜像，Pod 才能真正起来。对 Karpenter 这种弹性扩容场景来说，这部分时间会很明显。 我们做了一个小项目 Hermes： https://github.com/cloudpilot-ai/hermes 想法是：不让业务团队改 Dockerfile 、不重建镜像、不改 CI/CD ，也不改原来的 image reference 。平台侧定义一个 HermesPolicy ，controller 在集群内自动为匹配到的镜像构建并缓存 SOCI index ，节点上的 daemon 再用这些 index 做 lazy loading 。 这次用 EKS + Karpenter 跑了一个简单对比，镜像是： 763104351884.dkr.ecr.us-east-1.amazonaws.com/vllm:0.9-gpu-py312-ec2 大概 10.8GB 。 普通节点上，从 Pod 调度到节点后，到容器 Running/Ready： 5m04s - 29s = 4m35s 开启 Hermes 的节点上，在 HermesPolicy 已经 Ready 、SOCI artifact 已经构建好的前提下： 44s - 30s = 14s 也就是这个场景里，镜像拉取/挂载到容器启动这段，从 4m35s 降到了 14s 。 需要强调一下：这个结果不包含首次 index 构建耗时，也不等于 vLLM first token latency 。Pod Ready 变快，只说明容器镜像这条路径被 lazy loading 优化了。后面还需要继续测 vLLM readiness 、first request TTFT 、warmup 后真实请求延迟。 Hermes 现在的定位更像一个集群侧能力：应用继续发原来的 OCI image ，平台通过策略决定哪些镜像需要被 lazy load 。类似： apiVersion: hermes.cloudpilot.ai/v1alpha1 kind: HermesPolicy metadata: name: prod-large-images spec: paused: false imageSelectors: - imageRegex: ".*vllm.*" platforms: - linux/amd64 目前还比较早期，欢迎大家关注项目： https://github.com/cloudpilot-ai/hermes
最近在看 Kubernetes 上 AI 推理服务的冷启动问题，发现很多时候慢的不只是模型加载，容器镜像本身也很夸张。 比如 vLLM 这类镜像，里面有 PyTorch 、CUDA 、Python 依赖、系统库，动不动就是 10GB+。传统 containerd / overlayfs 路径下，节点要先完整下载并解压镜像，Pod 才能真正起来。对 Karpenter 这种弹性扩容场景来说，这部分时间会很明显。 我们做了一个小项目 Hermes： https://github.com/cloudpilot-ai/hermes 想法是：不让业务团队改 Dockerfile 、不重建镜像、不改 CI/CD ，也不改原来的 image reference 。平台侧定义一个 HermesPolicy ，controller 在集群内自动为匹配到的镜像构建并缓存 SOCI index ，节点上的 daemon 再用这些 index 做 lazy loading 。 这次用 EKS + Karpenter 跑了一个简单对比，镜像是： 763104351884.dkr.ecr.us-east-1.amazonaws.com/vllm:0.9-gpu-py312-ec2 大概 10.8GB 。 普通节点上，从 Pod 调度到节点后，到容器 Running/Ready： 5m04s - 29s = 4m35s 开启 Hermes 的节点上，在 HermesPolicy 已经 Ready 、SOCI artifact 已经构建好的前提下： 44s - 30s = 14s 也就是这个场景里，镜像拉取/挂载到容器启动这段，从 4m35s 降到了 14s 。 需要强调一下：这个结果不包含首次 index 构建耗时，也不等于 vLLM first token latency 。Pod Ready 变快，只说明容器镜像这条路径被 lazy loading 优化了。后面还需要继续测 vLLM readiness 、first request TTFT 、warmup 后真实请求延迟。 Hermes 现在的定位更像一个集群侧能力：应用继续发原来的 OCI image ，平台通过策略决定哪些镜像需要被 lazy load 。类似： apiVersion: hermes.cloudpilot.ai/v1alpha1 kind: HermesPolicy metadata: name: prod-large-images spec: paused: false imageSelectors: - imageRegex: ".*vllm.*" platforms: - linux/amd64 目前还比较早期，欢迎大家关注项目： https://github.com/cloudpilot-ai/hermes
最近在看 Kubernetes 上 AI 推理服务的冷启动问题，发现很多时候慢的不只是模型加载，容器镜像本身也很夸张。 比如 vLLM 这类镜像，里面有 PyTorch 、CUDA 、Python 依赖、系统库，动不动就是 10GB+。传统 containerd / overlayfs 路径下，节点要先完整下载并解压镜像，Pod 才能真正起来。对 Karpenter 这种弹性扩容场景来说，这部分时间会很明显。 我们做了一个小项目 Hermes： https://github.com/cloudpilot-ai/hermes 想法是：不让业务团队改 Dockerfile 、不重建镜像、不改 CI/CD ，也不改原来的 image reference 。平台侧定义一个 HermesPolicy ，controller 在集群内自动为匹配到的镜像构建并缓存 SOCI index ，节点上的 daemon 再用这些 index 做 lazy loading 。 这次用 EKS + Karpenter 跑了一个简单对比，镜像是： 763104351884.dkr.ecr.us-east-1.amazonaws.com/vllm:0.9-gpu-py312-ec2 大概 10.8GB 。 普通节点上，从 Pod 调度到节点后，到容器 Running/Ready： 5m04s - 29s = 4m35s 开启 Hermes 的节点上，在 HermesPolicy 已经 Ready 、SOCI artifact 已经构建好的前提下： 44s - 30s = 14s 也就是这个场景里，镜像拉取/挂载到容器启动这段，从 4m35s 降到了 14s 。 需要强调一下：这个结果不包含首次 index 构建耗时，也不等于 vLLM first token latency 。Pod Ready 变快，只说明容器镜像这条路径被 lazy loading 优化了。后面还需要继续测 vLLM readiness 、first request TTFT 、warmup 后真实请求延迟。 Hermes 现在的定位更像一个集群侧能力：应用继续发原来的 OCI image ，平台通过策略决定哪些镜像需要被 lazy load 。类似： apiVersion: hermes.cloudpilot.ai/v1alpha1 kind: HermesPolicy metadata: name: prod-large-images spec: paused: false imageSelectors: - imageRegex: ".*vllm.*" platforms: - linux/amd64 目前还比较早期，欢迎大家关注项目： https://github.com/cloudpilot-ai/hermes
bilibili.com 小米YU7GT 刷新纽北SUV圈速纪录14s，点击视频，一起感受_哔哩哔哩_bilibili 7分22秒755，#小米YU7GT# 刷新纽北SUV圈速纪录14s，成为纽北史上最速SUV。点击视频，一起感受。, 视频播放量 9337、弹幕量 16、点赞数 486、投硬币枚数 59、收藏人数 44、转发人数 77, 视频作者 小米汽车, 作者简介 人车合一，我心澎湃，相关视频：原汁原味纯血GT，跑车级SUV全新亮相，YU7 GT，今晚七点见，舒淇演绎小米YU7伟大旅程，7分34秒931，一镜到底见证YU7 GT刷新纽北SUV圈速纪录全过程，这TM是SUV？小米YU7... 6 个帖子 - 5 位参与者 阅读完整话题
IT之家 5 月 21 日消息，在正在进行的小米人车家全生态新品发布会上，小米创办人、董事长兼 CEO 雷军宣布，小米 YU7 GT 以 7 分 22 秒 755 的成绩刷新纽北 SUV 圈速纪录 14s， 成为纽北史上最速 SUV 。 IT之家注意到，小米还公布了与 Cayenne Turbo GT 弯心速度对比，做到 32 胜 17 负 1 平，雷军称小米 YU7 GT 是当之无愧的“ 纽北 SUV 弯道之王 ”。
IT之家 5 月 18 日消息，联想现已在海外市场推出 ThinkPad T14s Gen 2 翻转笔记本，新品搭载英特尔 Panther Lake 平台， 至高可选 64GB 内存 ，带有内置触控笔槽、全尺寸方向键等配置。 据介绍，这款笔记本最初亮相于 3 月，欧版起步配置为酷睿 Ultra 5 325 处理器、32GB 内存和 1TB 固态硬盘，默认配备 1200P IPS 屏幕，峰值亮度可达 400 尼特，覆盖 45% NTSC 色域，刷新率 60Hz，售价 2079 欧元（IT之家注：现汇率约合 16470 元人民币）/1999 英镑（现汇率约合 18156 元人民币）。 而澳洲版的起售配置则为 16GB 内存、256GB 固态硬盘，价格为 3349 澳元（现汇率约合 16317 元人民币）起。除此之外，还可以选配酷睿 Ultra 5 335 vPro、Ultra 7 355、Ultra 7 365 vPro、Ultra 7 356H、Ultra 7 366H 五款处理器。 同时，该笔记本最高可选配 64GB 内存，固态硬盘可升级为 512GB、1TB 或 2TB PCIe 5.0。四款屏幕分辨率皆为 1200P IPS，但高配型号的最高亮度可达 500 尼特， 覆盖 100% sRGB 色域 。
IT之家 5 月 17 日消息，联想现已在海外市场推出 ThinkPad P14s Gen 7 笔记本，新品搭载 AMD Gorgon Point 平台，至高可选 96GB 内存、75Wh 电池、120Hz VRR OLED 屏幕。 据介绍， 这款笔记本目前提供 AMD 锐龙 AI 5 Pro 440 、 AI 9 HX Pro 470 两种处理器可选 ，标配 60Wh 电池，可加钱选配 75Wh。内存选项非常丰富，目前可选 16GB、24GB、32GB、40GB、48GB、56GB、64GB、80GB、96GB，上述选项均采用 DDR5-5600 规格。 规格方面，该机提供 PCIe 4.0/PCIe 5.0 固态硬盘，容量最高可达 2TB。屏幕有四种选项： 14 英寸 WUXGA（1920*1200）IPS 400nits 防眩光，45% NTSC，3M 双重亮度增强膜； 14 英寸 WUXGA（1920*1200）IPS 500nits 防眩光，100% sRGB，低功耗，护眼，UL 低蓝光，触控； 14 英寸 2.8K（2880*1800）OLED 500nits 防眩光，100% DCI-P3，120Hz VRR，DisplayHDR True Black 500，护眼，UL 低蓝光，触控； 14 英寸 WUXGA（1920*1200）IPS 500nits 防眩光，100% sRGB，ThinkPad 隐私卫士防窥，护眼，UL 低蓝光，触控。 此外，该机还可选配高通骁龙 X61 sub-6GHz 5G 模块，提供智能卡读卡器、3.5mm 接口、USB-A、RJ-45、雷电 4、HDMI、Nano-SIM 等 I/O。 价格方面， 该机在英国市场的起售价是 1990 欧元（IT之家注：现汇率约合 15788 元人民币） ，包含锐龙 AI 5 Pro 440 和 16GB 内存，澳大利亚则为 2979 澳元（现汇率约合 14536 元人民币）。
IT之家 5 月 15 日消息，戴尔 Dell 14S 笔记本现已发布，新品搭载英特尔 Panther Lake 处理器，可以看作是 Dell 14 Plus 的继任机型， 只是命名发生了变化 。 在国内市场， Dell 14S 拥有酷睿 Ultra5 322、336H 及 Ultra 7 356H 处理器可选 。而在北美市场，该机还有 Ultra 9 386H、Ultra X7 358H 等配置。 所有型号标配 70Wh 电池 ，支持 65W C 口充电。 规格方面，这款笔记本提供 16GB LPDDR5X-7467、32GB LPDDR5X-7467 内存，国内版本硬盘均为 1TB。 屏幕则是 2560*1600 IPS 面板 ， 峰值亮度可达 500 尼特 ，支持 48-120Hz 自适应刷新率。海外版本还有 1920*1200 OLED 面板可选，但最高亮度只有 300 尼特，刷新率则是 60Hz。 IT之家附该机国行版本定价如下： Ultra 5 322+16GB LPDDR5X+1TB SSD：10999 元 Ultra 5 336H+32GB LPDDR5X+1TB SSD：13499 元 Ultra 7 356H+32GB LPDDR5X+1TB SSD：14499 元
TG群里的bot撸的三个team号，送给佬友了，大伙速蹬，嗨起来！！！ 账号邮箱：[email protected] 密码：H132357479h. 邮箱登录： Mailbox Login 账号邮箱：[email protected] 密码：H132357479h. 邮箱登录： Mailbox Login 账号邮箱：[email protected] 密码：H132357479h. 邮箱登录： Mailbox Login 使用方式： 用上面的邮箱和密码登录 ChatGPT。 需要收验证码或邮件时，用上面的邮箱登录地址进入邮箱。 15 个帖子 - 10 位参与者 阅读完整话题