小弟我这边之前有部署一个内网的CPA供内部小团队使用，但因为最近上面想看下消耗、并计划给开放部分资源其他部门，于是我就部署了一个new api，来做分发。 目前遇到一个情况，因为考虑开放资源给其他部门后的一些合规的问题，我把之前CPA上的mimo、minimax等国模添加到new api后，即new api里的国模上游就是官方渠道，不是CPA，这个时候用codex cli 和 cherrystudio测试时，发现使用v1/chat/completions是可以正常工作的，但是使用v1/responses时直接报错 get request url failed: unsupported relay mode: 33 这种情况我下我是该怎么处理呢。 5 个帖子 - 3 位参与者 阅读完整话题
本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容： 我的帖子已经打上 开源推广 标签： 是 我的开源项目完整开源，无未开源部分： 是 我的开源项目已链接认可 LINUX DO 社区： 是 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是 以上选择我承诺是永久有效的，接受社区和佬友监督： 是 以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出 我做了一个开源小工具：M2M 它可以把网易云、QQ 音乐、酷狗、酷我的公开歌单迁移到 Apple Music。 在线体验： https://m2m.xinyu017722.workers.dev/ GitHub： GitHub - cunyu-wxy/M2M · GitHub 目前支持： 粘贴歌单链接自动识别平台 解析歌名、歌手、专辑和顺序 浏览器内连接 Apple Music 自动创建 Apple Music 歌单并导入歌曲 显示导入成功、失败和失败原因 不需要注册账号 后端不保存 Apple ID 或个人资料库数据 支持 Cloudflare Workers 自部署 这个项目的定位比较明确：中文音乐平台 → Apple Music。 目前还有一些限制，比如 Apple Music 匹配可能不准，酷狗部分分享页只能拿到预览曲目。如果你有解析失败的歌单链接，欢迎提 issue 或 PR，如果大家感兴趣欢迎多多fork哦。 1 个帖子 - 1 位参与者 阅读完整话题
佬们都用的哪里的VPS，想搞一台部署机场和中转自用 3 个帖子 - 3 位参与者 阅读完整话题
准备放到腾讯云服务器上,自己部署了hermes用 2 个帖子 - 2 位参与者 阅读完整话题
我有多个节点，包括机场订阅的和自己个人部署的，机场的就添加了订阅每天更新，个人的就在节点 & 策略组管理那里添加了代理集配置 Proxy-provider 。但是每次订阅更新后，代理集的配置的节点就被删除了，请教下各位如何解决？
苦逼程序员一枚，部署一个网站给有需要的人，因为自己就是ai发烧开发，所以部署了这个，成本也不高，自己用不完也是浪费，给各位志同道合的大佬分享一下，因为刚弄稳定性需要大家回馈有需要的可以关注下哈，有问题可以随时提出来，我努力学习/强化，服务器配置不高，如果慢请担待 35 个帖子 - 33 位参与者 阅读完整话题
我有多个节点，包括机场订阅的和自己个人部署的，机场的就添加了订阅每天更新，个人的就在节点 & 策略组管理那里添加了代理集配置 Proxy-provider 。但是每次订阅更新后，代理集的配置的节点就被删除了，请教下各位如何解决？
zeabur当时免费部署的CPA，我发现它现在还在正常运行，管理页面也能正常打开，但在cli里连接就不行，有佬知道咋解决吗？ 1 个帖子 - 1 位参与者 阅读完整话题
可以答这种题目的，谢谢佬们！ 1 个帖子 - 1 位参与者 阅读完整话题
最近想给QQbot接一个发语音的功能,想本地部署个模型跑语音,不知道哪个模型能在效果不是很差的情况下速度最快的跑完,响应越快越好 3 个帖子 - 3 位参与者 阅读完整话题
中国电动汽车巨头比亚迪宣布，将在全欧洲大规模铺开其全新的超快“Flash Charger”充电网络，加速进军欧洲汽车市场。目前首批充电站已在德国和英国落地，按照计划，到明年年底前，比亚迪将在欧洲建成约3000个此类快充桩。 据《金融时报》测算，每个充电站的建设成本约为58万欧元（约合67万美元），这意味着整个网络的总投资规模大约在20亿美元左右。这些充电站的额定功率高达1500千瓦，远高于特斯拉目前在欧洲部署的500千瓦V4超级充电桩，不过特斯拉在欧洲已拥有约2万台充电桩，先发优势明显。比亚迪方面表示，由于这些快充桩是先为站内电池充电，再由电池向车辆输出高功率电流，因此可以在夜间低谷时段为电池组补能，从而减轻对公共电网的即时负荷压力。 在兼容性方面，只要配备标准CCS充电接口的电动车，都可以使用比亚迪的Flash Charger进行充电。不过，要想真正释放1500千瓦的峰值充电能力，目前仅限于搭载比亚迪最新“刀片电池”（Blade Battery）的车型。就欧洲市场而言，目前符合这一条件的只有一款车型——售价约11.5万欧元（约合13.3万美元）的Denza Z9 GT。在新快充网络上，这款车只需约5分钟就可将电量从低位充至70%，大幅缩短补能时间。 比亚迪近年来在全球电动车销量上不断逼近并多次超越特斯拉，此次宣布重金打造欧洲高功率公共充电网络，被视为其在产品、补能基础设施和品牌影响力多线并进的重要一步。随着更多配备刀片电池的新车型进入欧洲市场，以及充电桩建设目标逐步落地，比亚迪希望借助这一快充网络进一步提升用户对纯电出行的信心，加速在欧洲电动车市场的份额扩张。 查看评论
https://github.com/mskatoni/v2ex-max-helper 最低部署要求 1 核心 512MB 内存（请设置 1GB SWAP) （比如甲骨文免费 AMD 和 Azure 学生免费 Linux 机器） 舒适运行需求 1 核心 2GB 内存 项目完全使用真实 Chromium 浏览器，可编辑指纹或者直接使用默认真实指纹活跃，支持多账号与指纹隔离，支持自动刷新 cookie 和保活，以及 telegram bot 提醒兜底。无暴露端口，不存在 UI 面板，隐私友好。 每一行代码都开源，觉得还不错就请给我一个免费的 star 吧！同时欢迎代码审计和 PR ！ 您的 star 是我创作的动力！ 请不要使用中转站 API 部署！使用中转站 API 部署导致 cookie 或者 VPS 密钥泄露等问题，本人不承担任何责任 ⚠️ 免责声明 本项目仅供学习与个人自动化使用。请遵守 V2EX 用户协议，合理设置频率，自行承担使用风险。
https://github.com/mskatoni/v2ex-max-helper 最低部署要求 1 核心 512MB 内存（请设置 1GB SWAP) （比如甲骨文免费 AMD 和 Azure 学生免费 Linux 机器） 舒适运行需求 1 核心 2GB 内存 项目完全使用真实 Chromium 浏览器，可编辑指纹或者直接使用默认真实指纹活跃，支持多账号与指纹隔离，支持自动刷新 cookie 和保活，以及 telegram bot 提醒兜底。无暴露端口，不存在 UI 面板，隐私友好。 每一行代码都开源，觉得还不错就请给我一个免费的 star 吧！同时欢迎代码审计和 PR ！ 您的 star 是我创作的动力！ 请不要使用中转站 API 部署！使用中转站 API 部署导致 cookie 或者 VPS 密钥泄露等问题，本人不承担任何责任 ⚠️ 免责声明 本项目仅供学习与个人自动化使用。请遵守 V2EX 用户协议，合理设置频率，自行承担使用风险。
https://github.com/mskatoni/v2ex-max-helper 最低部署要求 1 核心 512MB 内存（请设置 1GB SWAP) （比如甲骨文免费 AMD 和 Azure 学生免费 Linux 机器） 舒适运行需求 1 核心 2GB 内存 项目完全使用真实 Chromium 浏览器，可编辑指纹或者直接使用默认真实指纹活跃，支持多账号与指纹隔离，支持自动刷新 cookie 和保活，以及 telegram bot 提醒兜底。无暴露端口，不存在 UI 面板，隐私友好。 每一行代码都开源，觉得还不错就请给我一个免费的 star 吧！同时欢迎代码审计和 PR ！ 您的 star 是我创作的动力！ 请不要使用中转站 API 部署！使用中转站 API 部署导致 cookie 或者 VPS 密钥泄露等问题，本人不承担任何责任 ⚠️ 免责声明 本项目仅供学习与个人自动化使用。请遵守 V2EX 用户协议，合理设置频率，自行承担使用风险。
https://github.com/mskatoni/v2ex-max-helper 最低部署要求 1 核心 512MB 内存（请设置 1GB SWAP) （比如甲骨文免费 AMD 和 Azure 学生免费 Linux 机器） 舒适运行需求 1 核心 2GB 内存 项目完全使用真实 Chromium 浏览器，可编辑指纹或者直接使用默认真实指纹活跃，支持多账号与指纹隔离，支持自动刷新 cookie 和保活，以及 telegram bot 提醒兜底。无暴露端口，不存在 UI 面板，隐私友好。 每一行代码都开源，觉得还不错就请给我一个免费的 star 吧！同时欢迎代码审计和 PR ！ 您的 star 是我创作的动力！ 请不要使用中转站 API 部署！使用中转站 API 部署导致 cookie 或者 VPS 密钥泄露等问题，本人不承担任何责任 ⚠️ 免责声明 本项目仅供学习与个人自动化使用。请遵守 V2EX 用户协议，合理设置频率，自行承担使用风险。
昨天帮甲方升级了一下本地的老模型,因为本人并不是从事运维工作,只是临时补坑,还是浪费了点时间.现在回头做个梳理,希望佬友们在用得到的时候也有个参考(感觉都比较基础,专业的大佬可以跳过不看) 模型下载: 国内环境推荐直接使用 modelscope 下载,如果是内网环境的话,可以下载完再上传到服务器.这里重点关注2个地方 模型选择 一般来说我们首先考虑显存大小,先本地使用nvidia-smi,查看本机显存 非量化模型可以有个简单的公式:显存 ≈ 参数量 × 2 ,然后基本上要留1/4以上余量提供给上下文kv cache,当然你如果已经安装完发现显存不够,可以通过量化参数–quantization降低显存要求 PS.这台服务器真让人流口水啊,也不用担心装不下的问题 模型对应的配置要求: 注意仔细阅读模型的介绍页 会有推荐的显卡,如果你的显卡等级比推荐的低,大概率就是装不了 在安装方式那里,我们会看到要求的版本,现在好像vllm部署比较多,所以我们进入模型页面对应的vllm安装方式会看到 这里就有第一个踩坑的点: 虽然他标注的vllm>=0.19.0,但是我建议你就安装对应的版本 .我昨天按文档上的安装了最新vllm版本运行后又会出现版本兼容问题,浪费了不少时间调版本(也不知道是不是vllm高版本不向下兼容的问题,反正vllm里提示transformers版本不对,然后我就问哈基米解决方案,来回升降vllm和transformers版本,最后也解决不了,这实际部署行为,大模型可信度有限) 服务器CUDA版本升级 因为服务器是N卡而且现有的服务器CUDA版本太低了,对于要求版本的vllm不兼容,所以第一步先升级cuda. 先查询你要安装的cuda版本,这里我以要装的vllm 0.19.0为例: 安装要求： OS: Linux Python: 3.10 到 3.13 NVIDIA GPU: compute capability >= 7.0 官方依据： vLLM 0.19.0 GPU 安装要求： docs.vllm.ai GPU - vLLM NVIDIA GPU compute capability 官方查询表： NVIDIA Developer NVIDIA CUDA GPU Compute Capability Find the compute capability for your GPU. 这里如果显卡不满足cap的话就只能降vllm版本,装老一点的模型了 然后开始具体安装=> 前置:停掉所有占用显卡的进程,查询指令如下 nvidia-smi --query-compute-apps=pid,name --format=csv,noheader,nounits 如果是systemd启动的话可以在列表中先找到相关的服务 systemctl list-units --type=service --state=running 然后直接kill 或者使用对应的systemctl stop xxxx停止服务和nv manager服务 # 停止 Fabric Manager systemctl unmask nvidia-fabricmanager systemctl stop nvidia-fabricmanager # 查询当前驱动和已安装的 fabricmanager dpkg -l | grep -E 'nvidia-fabricmanager|nvidia-driver' apt-mark showhold | grep -E 'nvidia|cuda' || true # 解除旧 fabricmanager 的 hold 并卸载,我本地的是nvidia-fabricmanager-550 apt-mark unhold nvidia-fabricmanager-550 nvidia-fabricmanager-580 2>/dev/null || true apt purge -y nvidia-fabricmanager-550 nvidia-fabricmanager-580 # 停止所有可能占用 GPU 的持久化服务 systemctl stop nvidia-persistenced 接着去NV官网下载对应的 CUDA Toolkit wget https://developer.download.nvidia.com/compute/cuda/12.9.0/local_installers/cuda_12.9.0_575.51.03_linux.run sh cuda_12.9.0_575.51.03_linux.run 根据提示页面输入’accept’和选择install即可,等待安装完毕 安装完再系统的全局软链接更新指向新版本的 Toolkit mv /usr/local/cuda /usr/local/cuda.bak ln -s /usr/local/cuda-12.9 /usr/local/cuda # 查询 NVIDIA 驱动版本，fabricmanager 要匹配驱动版本，不是 CUDA toolkit 版本 nvidia-smi --query-gpu=driver_version --format=csv,noheader | head -n 1 # 查询 575 server 驱动和 fabricmanager 可用版本 apt update apt-cache policy nvidia-driver-575-server nvidia-fabricmanager-575 apt-cache madison nvidia-driver-575-server apt-cache madison nvidia-fabricmanager-575 # 安装匹配版本的 server driver + fabricmanager apt install -y nvidia-driver-575-server nvidia-fabricmanager-575 # 驱动升级后必须重启 reboot #恢复管理器 systemctl daemon-reload systemctl enable --now nvidia-fabricmanager systemctl start nvidia-fabricmanager systemctl status nvidia-fabricmanager nvidia-smi topo -m 这里 注意装完驱动必须重启服务器 ,然后nvidia-smi 后看到 CUDA Version: 12.9,至此cuda升级完毕 安装升级vllm 因为原先这台机器的vllm并不是我来安装的,所以升级的时候,直接安装一套新的conda做虚拟环境管理 wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh ./Anaconda3-2024.10-1-Linux-x86_64.sh #修改环境变量 echo 'export PATH=~/anaconda3/bin:$PATH' >> ~/.bashrc && source ~/.bashrc conda create -n vllm python=3.10 -y source ~/.bashrc && conda activate vllm #安装模型要求的vllm版本,这里替换了国内源,提高下载速度 pip install vllm==0.19.0 -i https://pypi.tuna.tsinghua.edu.cn/simple 后续就是调试vllm的启动命令了,这基本参照官方文档和问ai都能搞定,无非就是配置几个选项和上下文大小和量化指标那些 6 个帖子 - 4 位参与者 阅读完整话题
佬们，家里nas，服务器等部署了好多服务。昨天在家找个 new-api 找了半天。有没有推荐的开源工具可以解决。 效果就是自动或者手动扫描某台设备端口，维护对应端口的元数据。 2 个帖子 - 2 位参与者 阅读完整话题
刚升级最新版 v0.1.136 的时候弹出的提示,看来作者本人也是在提前紧急避险啊 4 个帖子 - 4 位参与者 阅读完整话题
如题，希望连接的时候可以把一些局域网的域名导到zerotier内的私网域名上实现更方便的远程访问，手改host超级累 想问问大家有没有自部署过dns，这个应该咋配置啊 1 个帖子 - 1 位参与者 阅读完整话题
庆祝一下，我的家庭服务器已经连续开机100天了，这也代表我已经开学100天了。 在这里附一个部署在这个服务器的我的个人博客链接吧 19 个帖子 - 7 位参与者 阅读完整话题