除了把 HomePod 放到 IoT VLAN ，还有什么更优雅的解决方案吗？
除了把 HomePod 放到 IoT VLAN ，还有什么更优雅的解决方案吗？
除了把 HomePod 放到 IoT VLAN ，还有什么更优雅的解决方案吗？
除了把 HomePod 放到 IoT VLAN ，还有什么更优雅的解决方案吗？
除了把 HomePod 放到 IoT VLAN ，还有什么更优雅的解决方案吗？
除了把 HomePod 放到 IoT VLAN ，还有什么更优雅的解决方案吗？
昨天帮甲方升级了一下本地的老模型,因为本人并不是从事运维工作,只是临时补坑,还是浪费了点时间.现在回头做个梳理,希望佬友们在用得到的时候也有个参考(感觉都比较基础,专业的大佬可以跳过不看) 模型下载: 国内环境推荐直接使用 modelscope 下载,如果是内网环境的话,可以下载完再上传到服务器.这里重点关注2个地方 模型选择 一般来说我们首先考虑显存大小,先本地使用nvidia-smi,查看本机显存 非量化模型可以有个简单的公式:显存 ≈ 参数量 × 2 ,然后基本上要留1/4以上余量提供给上下文kv cache,当然你如果已经安装完发现显存不够,可以通过量化参数–quantization降低显存要求 PS.这台服务器真让人流口水啊,也不用担心装不下的问题 模型对应的配置要求: 注意仔细阅读模型的介绍页 会有推荐的显卡,如果你的显卡等级比推荐的低,大概率就是装不了 在安装方式那里,我们会看到要求的版本,现在好像vllm部署比较多,所以我们进入模型页面对应的vllm安装方式会看到 这里就有第一个踩坑的点: 虽然他标注的vllm>=0.19.0,但是我建议你就安装对应的版本 .我昨天按文档上的安装了最新vllm版本运行后又会出现版本兼容问题,浪费了不少时间调版本(也不知道是不是vllm高版本不向下兼容的问题,反正vllm里提示transformers版本不对,然后我就问哈基米解决方案,来回升降vllm和transformers版本,最后也解决不了,这实际部署行为,大模型可信度有限) 服务器CUDA版本升级 因为服务器是N卡而且现有的服务器CUDA版本太低了,对于要求版本的vllm不兼容,所以第一步先升级cuda. 先查询你要安装的cuda版本,这里我以要装的vllm 0.19.0为例: 安装要求： OS: Linux Python: 3.10 到 3.13 NVIDIA GPU: compute capability >= 7.0 官方依据： vLLM 0.19.0 GPU 安装要求： docs.vllm.ai GPU - vLLM NVIDIA GPU compute capability 官方查询表： NVIDIA Developer NVIDIA CUDA GPU Compute Capability Find the compute capability for your GPU. 这里如果显卡不满足cap的话就只能降vllm版本,装老一点的模型了 然后开始具体安装=> 前置:停掉所有占用显卡的进程,查询指令如下 nvidia-smi --query-compute-apps=pid,name --format=csv,noheader,nounits 如果是systemd启动的话可以在列表中先找到相关的服务 systemctl list-units --type=service --state=running 然后直接kill 或者使用对应的systemctl stop xxxx停止服务和nv manager服务 # 停止 Fabric Manager systemctl unmask nvidia-fabricmanager systemctl stop nvidia-fabricmanager # 查询当前驱动和已安装的 fabricmanager dpkg -l | grep -E 'nvidia-fabricmanager|nvidia-driver' apt-mark showhold | grep -E 'nvidia|cuda' || true # 解除旧 fabricmanager 的 hold 并卸载,我本地的是nvidia-fabricmanager-550 apt-mark unhold nvidia-fabricmanager-550 nvidia-fabricmanager-580 2>/dev/null || true apt purge -y nvidia-fabricmanager-550 nvidia-fabricmanager-580 # 停止所有可能占用 GPU 的持久化服务 systemctl stop nvidia-persistenced 接着去NV官网下载对应的 CUDA Toolkit wget https://developer.download.nvidia.com/compute/cuda/12.9.0/local_installers/cuda_12.9.0_575.51.03_linux.run sh cuda_12.9.0_575.51.03_linux.run 根据提示页面输入’accept’和选择install即可,等待安装完毕 安装完再系统的全局软链接更新指向新版本的 Toolkit mv /usr/local/cuda /usr/local/cuda.bak ln -s /usr/local/cuda-12.9 /usr/local/cuda # 查询 NVIDIA 驱动版本，fabricmanager 要匹配驱动版本，不是 CUDA toolkit 版本 nvidia-smi --query-gpu=driver_version --format=csv,noheader | head -n 1 # 查询 575 server 驱动和 fabricmanager 可用版本 apt update apt-cache policy nvidia-driver-575-server nvidia-fabricmanager-575 apt-cache madison nvidia-driver-575-server apt-cache madison nvidia-fabricmanager-575 # 安装匹配版本的 server driver + fabricmanager apt install -y nvidia-driver-575-server nvidia-fabricmanager-575 # 驱动升级后必须重启 reboot #恢复管理器 systemctl daemon-reload systemctl enable --now nvidia-fabricmanager systemctl start nvidia-fabricmanager systemctl status nvidia-fabricmanager nvidia-smi topo -m 这里 注意装完驱动必须重启服务器 ,然后nvidia-smi 后看到 CUDA Version: 12.9,至此cuda升级完毕 安装升级vllm 因为原先这台机器的vllm并不是我来安装的,所以升级的时候,直接安装一套新的conda做虚拟环境管理 wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh ./Anaconda3-2024.10-1-Linux-x86_64.sh #修改环境变量 echo 'export PATH=~/anaconda3/bin:$PATH' >> ~/.bashrc && source ~/.bashrc conda create -n vllm python=3.10 -y source ~/.bashrc && conda activate vllm #安装模型要求的vllm版本,这里替换了国内源,提高下载速度 pip install vllm==0.19.0 -i https://pypi.tuna.tsinghua.edu.cn/simple 后续就是调试vllm的启动命令了,这基本参照官方文档和问ai都能搞定,无非就是配置几个选项和上下文大小和量化指标那些 6 个帖子 - 4 位参与者 阅读完整话题
拒绝回答就continue，vless的代码也改起来了 1 个帖子 - 1 位参与者 阅读完整话题
tp-e9og8e3kpjl3hvl5c4d5t7tsl0vxpjze7s15nm5gj3d2o9ua 今天刚进，一个mimo lite订阅的key，免费送出，佬们别嫌弃俺送的少，手边基本没有合适的key可以送了 7月2日到期 2 个帖子 - 2 位参与者 阅读完整话题
直接领： https://bigmodel.cn/activity/trial-card/8W2EMRVLWD 领到的佬请在评论区吱一声 已领完 你们真的是太快了，1 分钟都撑不了 6 个帖子 - 5 位参与者 阅读完整话题
API 服务信息 地址： api.vllmproxy.com 充值说明 充值比例： 1:1 支持： 1:1 充值、可开票、可对接团队 账号服务 订阅会员： 10 元永久价格 服务 价格 GPT Team 速登 0.0001 倍率 GPT Plus 号池 0.08 GPT Pro 号池 0.22 Claude Kiro 0.2 起 Claude AWS Bedrock 逆向（智商满分） 0.88 （推荐） Claude Max 满血 1.1 联系方式 API 地址： api.vllmproxy.com
API 服务信息 地址： api.vllmproxy.com 充值说明 充值比例： 1:1 支持： 1:1 充值、可开票、可对接团队 账号服务 订阅会员： 10 元永久价格 服务 价格 GPT Team 速登 0.0001 倍率 GPT Plus 号池 0.08 GPT Pro 号池 0.22 Claude Kiro 0.2 起 Claude AWS Bedrock 逆向（智商满分） 0.88 （推荐） Claude Max 满血 1.1 联系方式 API 地址： api.vllmproxy.com
API 服务信息 地址： api.vllmproxy.com 充值说明 充值比例： 1:1 支持： 1:1 充值、可开票、可对接团队 账号服务 订阅会员： 10 元永久价格 服务 价格 GPT Team 速登 0.0001 倍率 GPT Plus 号池 0.08 GPT Pro 号池 0.22 Claude Kiro 0.2 起 Claude AWS Bedrock 逆向（智商满分） 0.88 （推荐） Claude Max 满血 1.1 联系方式 API 地址： api.vllmproxy.com
API 服务信息 地址： api.vllmproxy.com 充值说明 充值比例： 1:1 支持： 1:1 充值、可开票、可对接团队 账号服务 订阅会员： 10 元永久价格 服务 价格 GPT Team 速登 0.0001 倍率 GPT Plus 号池 0.08 GPT Pro 号池 0.22 Claude Kiro 0.2 起 Claude AWS Bedrock 逆向（智商满分） 0.88 （推荐） Claude Max 满血 1.1 联系方式 API 地址： api.vllmproxy.com
API 服务信息 地址： api.vllmproxy.com 充值说明 充值比例： 1:1 支持： 1:1 充值、可开票、可对接团队 账号服务 订阅会员： 10 元永久价格 服务 价格 GPT Team 速登 0.0001 倍率 GPT Plus 号池 0.08 GPT Pro 号池 0.22 Claude Kiro 0.2 起 Claude AWS Bedrock 逆向（智商满分） 0.88 （推荐） Claude Max 满血 1.1 联系方式 API 地址： api.vllmproxy.com
有没有支持 DNS 分流以及 vless-reality-vision 和 hy2 的 iOS rule-based 代理客户端？ 3 个帖子 - 3 位参与者 阅读完整话题
99998.shop 啾 - AI API Gateway c2stNDdkNzVmMzIyMDk1NjViMDI0YmYxNjRiMzU4MmVkODcwOTM1NDcwOGJhZDczN2UwNjIwOTUyNDQ5NGVlNGFiZQ== 加入佬们的狂欢 冲啊 1 个帖子 - 1 位参与者 阅读完整话题
项目名字叫做 GPIC，包含了一亿张图片，总像素接近 28 万亿。数据集已开源，在下面的抱脸网链接里，有13T之多。有哪个大佬能说下这个能做成一个什么样的前端应用吗？还是只能用来训练模型？ huggingface.co stanford-vision-lab/gpic · Datasets at Hugging Face We’re on a journey to advance and democratize artificial intelligence through open source and open science. 5 个帖子 - 2 位参与者 阅读完整话题
phoronix.com OpenCV 5.0 Released With Rewritten DNN Engine, Built-In LLM & VLM Support OpenCV 5.0 released today as a major update to this widely-used, open-source computer vision (CV) library. [!quote]+ OpenCV 5.0 今天发布，是这个广泛使用的开源计算机视觉 (CV) 库的重大更新。 OpenCV 5.0 采用了重写的深度神经网络（DNN）引擎，ONNX 覆盖率超过 80%，内置大型语言模型（LLM）和视觉语言模型（VLM）支持，以及新的硬件抽象层和更好的 3D 视觉工具包。 OpenCV 5.0 目前已为英特尔 IPP（内核经过 SSE/AVX 优化）、Arm KleidiCV、高通 FastCV 和 RISC-V Vector RVV 调整了路径。 接下来，OpenCV 开发人员计划在其新的 DNN 引擎中开发原生 GPU 支持。 OpenCV 5.0 在与微软 ONNX Runtime 的较量中表现出色： OpenCV – 5 Jun 26 OpenCV 5 Is Here: The Biggest Leap in Years for Computer Vision OpenCV 5 is here! A massive modernization brings a graph-based DNN engine, over 80% ONNX coverage, hardware acceleration, LLM/VLM support, and a faster Python-first core. Learn why this isn't just an incremental update. Est. reading time: 19 minutes 3 个帖子 - 3 位参与者 阅读完整话题
分享个自己最近开源的项目： VLM-AutoYOLO 。 项目地址： https://github.com/Somnusochi/VLM-AutoYOLO 前几天看到英伟达（ NVIDIA ）正式公布了 LocateAnything 视觉大模型，它那种用一段文本就能直接定位物体的能力让我觉得很有意思。结合 Facebook 最近开源的 SAM2 抠图模型，我就想：完全可以用一句话代替手工画框，实现自动化的 YOLO 数据集标注。 有了想法后，我在 AI 的辅助下大概花了 5 天时间，把这套全自动标注的流水线跑通了。 它是怎么工作的？ 逻辑很简单，主要分三步： 一句话找目标 ：输入你想找的东西（比如“有划痕的零件”），后端的 LocateAnything 模型会先找出它的大致位置。 像素级抠图 ：把大概坐标扔给 SAM2 模型，由它负责精准吸附边缘，生成 Bounding Box 和 Mask 。 一键导出 ：流水线跑完后，自动打包成标准的 YOLO 数据集格式，可以直接丢给 YOLOv8/v11 去训轻量级模型。 技术实现细节 为了保证业务数据不上云，这个项目设计成了 100% 纯本地运行。这就需要处理显存压力的问题。 **后端 (FastAPI / PyTorch)**： 为了能在普通开发机上跑这套 30 亿参数的大模型，我在后端写了严格的显存清理机制。在我的 MacBook Pro (M4 Pro, 24GB) 上，开启 Apple MPS 加速后，处理一张高清图大概 4 秒。连续跑几百张图，系统内存占用稳在 12GB 左右，没有内存泄露，挂后台跑很稳。 **前端 (React / Vite / UnoCSS)**： 我个人不喜欢传统标注软件那种密密麻麻的控制台界面，所以用 UnoCSS 写了个极简风格的操作界面，用起来稍微顺眼点。 目前的坑 因为只花了 5 天写的初版，还有些局限： 速度上限 ：4 秒一张图，应对几百张没问题。如果是上万张的大型数据集，单机单卡还是偏慢，后续得考虑加多卡并行。 环境依赖 ：项目融合了 PyTorch 、Ultralytics 和 SAM2 ，不同系统装依赖可能会踩坑。Docker 镜像后续会补上。 最后 如果你也厌倦了手动标数据，可以去 GitHub 拉下来跑跑看。遇到问题或者有关于 MPS 显存优化的建议，直接在项目里提 Issue 或 PR 。