企业生产中也手动去超频吗？我以为跟 CPU 一样，拿来就直接用呢
这应该算是为数不多的御二家上也不一定好的场景了 众所周知，ChatGPT是臭名昭著的中文不说人话，我用它搞中文翻译也一样不说人话 Claude的情况倒好点 关于这个想听一听大伙的想法 4 个帖子 - 4 位参与者 阅读完整话题
站在这儿： https://wcelo.com 起因是我对那些「 AI 预测世界杯」一直有点怀疑——大多没法证伪，赛后还能随便挑口径圆 回来。所以我干脆把它做成一个能打脸自己的实验：开赛前把三个假设写死、git commit 冻结、锁定赛后怎么算分，之后只许按这套规则结算。 三个假设： 每天拿赛果更新模型，到底比「赛前冻结那版」强不强？（很多号称 live 的模型从不验这个） 概率准不准（校准误差 ECE ≤ 0.05 ）？ 我最想知道的：让大模型（ Claude ）每个比赛日前联网读伤病 / 停赛 / 预计首发 / 死亡 之组放水这些「软信息」，折成一个有界的实力修正，它能不能赢过一个 1997 年的纯 统计模型（ Elo + 双泊松 + 10 万次蒙卡）？ 模型本身很常规、不炫技，好玩的是这套不能反悔的设计。也把我们的概率和 Polymarket / Stake 的盘口摆一起，但不指望赢市场——人家有伤病和内幕，我没有，输给它才正常。 说实话我的先验是「大模型多半只加噪声」，但我按最强形态把它实现了，免得验证变成 自我实现。方法和预注册都在站内 /method 。 小组赛今晚开打，欢迎来拍，尤其第 3 条的设计。
站在这儿： https://wcelo.com 起因是我对那些「 AI 预测世界杯」一直有点怀疑——大多没法证伪，赛后还能随便挑口径圆 回来。所以我干脆把它做成一个能打脸自己的实验：开赛前把三个假设写死、git commit 冻结、锁定赛后怎么算分，之后只许按这套规则结算。 三个假设： 每天拿赛果更新模型，到底比「赛前冻结那版」强不强？（很多号称 live 的模型从不验这个） 概率准不准（校准误差 ECE ≤ 0.05 ）？ 我最想知道的：让大模型（ Claude ）每个比赛日前联网读伤病 / 停赛 / 预计首发 / 死亡 之组放水这些「软信息」，折成一个有界的实力修正，它能不能赢过一个 1997 年的纯 统计模型（ Elo + 双泊松 + 10 万次蒙卡）？ 模型本身很常规、不炫技，好玩的是这套不能反悔的设计。也把我们的概率和 Polymarket / Stake 的盘口摆一起，但不指望赢市场——人家有伤病和内幕，我没有，输给它才正常。 说实话我的先验是「大模型多半只加噪声」，但我按最强形态把它实现了，免得验证变成 自我实现。方法和预注册都在站内 /method 。 小组赛今晚开打，欢迎来拍，尤其第 3 条的设计。
## 公司简介 这是一家做生物医药细分领域 AI 应用的科技公司，他们的 AI 应用产品主要是专门为生物医药的企业（包括 top 生物医药的外资企业）作 AI 定制 ，包括但不局限于 AI 数字人（需要具备生物医药的数据场景），生物医药的 AI agent 定制等；目前已经有 2 ，3 个产品在订单交付中，这些订单来自于国内和国际 top 的生物医药企业。公司联创多数是来自外资企业，企业文化更像外资企业文化。 ## 岗位职责 1.负责基于大语言模型（ LLM ）的 AI 产品研发与落地 * 参与生物医药行业 AI 应用、AI Agent 、智能助手等产品的设计、开发与迭代； * 将大模型能力融入企业业务流程，打造实际可用的 AI 解决方案。 2.负责 AI Agent 及知识增强系统开发 * 参与 Agent 工作流设计，包括任务规划、工具调用、知识检索等核心能力建设； * 负责 RAG 、企业知识库、向量检索等 AI 应用基础能力开发与优化。 3.负责 AI 应用系统工程开发** * 参与后端服务、API 接口及全栈功能开发； * 搭建稳定、高效、可扩展的 AI 产品技术架构，推动产品从原型到生产环境落地。 4.参与客户项目交付与产品持续优化 * 与产品、算法及业务团队协作，为国内外头部生物医药企业提供 AI 解决方案； * 根据实际业务反馈持续优化模型效果和产品体验。 ## 任职要求 1.工程与后端能力 * 扎实的软件全栈工程能力，具备良好的系统设计与工程实现能力； * 熟练掌握 Python / Java / Go 等主流开发的至少一种后端开发语言； * 熟悉 Web 后端开发框架及 API 设计； * 具备数据库设计与数据处理能力（ MySQL / PostgreSQL 等）。 2.LLM / AI 应用能力 * 熟悉大模型应用开发流程（ Prompt Engineering 、RAG 、Tool Calling 等）； * 熟悉向量数据库及知识库构建与检索（如 Milvus / FAISS / Elasticsearch 等）； * 有 AI Agent 或 LLM 应用系统开发经验。 有复杂业务系统,企业级 AI 产品或实际业务落地经验尤佳 ## 薪酬福利 35-70 万/年 ## 招聘流程 生物医药领域的联创初面，CEO 二面 ## 工作地点 上海 ##简历投递 [email protected]
大家在工作生活日常提及目前的“AI”的时候，是会脱口而出“Agent”还是“LLM”,还是直接就是“AI”
大家在工作生活日常提及目前的“AI”的时候，是会脱口而出“Agent”还是“LLM”,还是直接就是“AI”
大家在工作生活日常提及目前的“AI”的时候，是会脱口而出“Agent”还是“LLM”,还是直接就是“AI”
https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/ 在生成文本时，理论上可以比现在的版本快 4 倍。 本地运行步骤： https://unsloth.ai/docs/models/diffusiongemma 目前 V2EX Chat 用的模型就是 gemma4:26b 。 https://edge.v2ex.com/chat
https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/ 在生成文本时，理论上可以比现在的版本快 4 倍。 本地运行步骤： https://unsloth.ai/docs/models/diffusiongemma 目前 V2EX Chat 用的模型就是 gemma4:26b 。 https://edge.v2ex.com/chat
佬们都是怎么学习的，学到什么程度才能去找工作呀 1 个帖子 - 1 位参与者 阅读完整话题
怎么做到超越copilot 实测下来 单纯靠llm分析 并不可取 1 个帖子 - 1 位参与者 阅读完整话题
本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容： 我的帖子已经打上 开源推广 标签： 是 我的开源项目完整开源，无未开源部分： 是 我的开源项目已链接认可 LINUX DO 社区： 是 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是 以上选择我承诺是永久有效的，接受社区和佬友监督： 是 以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出 github.com GitHub - Jinghao67/conductor: Context conductor for clean master sessions, dirty... Context conductor for clean master sessions, dirty explainer sidecars, and interactive AI branches 作为一个既需要发论文（科研导向）又需要做项目（工程导向）的学生，我在使用ai的过程中，经常遇到下面几个问题： 1）主session污染问题：在一个session内和ai聊久了，主 session 很快会被需求讨论、实现细节、失败尝试、长篇解释、review 记录全部污染，最后自己也不知道哪个 session 是干什么的。在科研上，有了idea后需要做不同的实验去验证和实现，实验过程中涉及到配环境、调参等很容易让ai陷入局部最优而进行过度尝试污染上下文的问题。在工程上，很多工程也会涉及到这些问题，subagent由于其不可显示导致人为不可控且需要用户自己设计而过于繁琐。 2）无论是工程还是科研都来源于一个并不具体的想法，可以说：在完成整个项目的过程中，没有人对这个项目完全了解，这就需要有一个session能拿到所有session的context，来解答用户所有的问题，无论是什么问题，这个session就是用来污染的，且永远不会并入主session污染其他session。 3）过程文档至关重要，但是一个被污染的session总结出的过程文档往往是带有各种无意义信息，比如偏向用户让他给解释的概念、反复陈述各种试错的失败信息，显然这对于未来需要这份过程文档的人是噪音，所以如何维护一个无污染的过程文档至关重要。 针对上述问题，我写了conductor，它的思路是把当前主对话变成一个永远干净的master session（用于自己需要理清项目逻辑、写过程文档等），只保留全局目标、关键决策、分支地图和批准后的子session的摘要；具体使用而言：使用时会先把当前对话设为干净的master session，如果需求不清楚，可以结合grill-me or grill-me-docs追问，等讨论清楚后，conductor会先做依赖分析，判断哪些任务可以并行，哪些必须串行等待。 接着，它不会乱开session，而是先生成branch card，每张card写清这个分支要做什么，为什么开，允许带入哪些context，预期产物是什么，完成标准和return condition，只有用户确认后，才会开真正的branch session。最开始会有四个session。1）主session。2）专门用于问问题随便污染的session。3）讨论分多少branch，并行or串行的session。4）第一个branch session 进入branch session后，这个session只拿到自己的branch brief和已批准的master session的context，不会继承任何session的杂乱历史，用户可以在branch里继续交互实现任何东西，这解决了subagent不能交互的问题，这下每个子任务用户都可以及时纠偏，这些细节都会留在branch里，主session依然干净。 当branch觉得任务完成后，不会自动合并，它会先建议完成，用户确认完成后，会生成总结，把这个session中过度的污染去掉但是把经验和正确的流程总结压缩，然后master session会询问用户是否合并，因为某些子任务必须合并进入主线，要么主线不完整，比如，在科研中，配环境复现paper的branch可以不合并，但是自己的重要实验必须要合并，不然主session会缺乏细节了解。 如果使用Treills，conductor还会把master、branch、依赖关系、状态和产物路径持久化成parent/child tasks、branchmap和metadata，方便回看、回退和继续推进。 整个流程的目标是：主session保持干净和主导，分支负责探索完成，专门留有一个有所有session context的session来让用户随意问问题讨论、污染。 6 个帖子 - 4 位参与者 阅读完整话题
昨天帮甲方升级了一下本地的老模型,因为本人并不是从事运维工作,只是临时补坑,还是浪费了点时间.现在回头做个梳理,希望佬友们在用得到的时候也有个参考(感觉都比较基础,专业的大佬可以跳过不看) 模型下载: 国内环境推荐直接使用 modelscope 下载,如果是内网环境的话,可以下载完再上传到服务器.这里重点关注2个地方 模型选择 一般来说我们首先考虑显存大小,先本地使用nvidia-smi,查看本机显存 非量化模型可以有个简单的公式:显存 ≈ 参数量 × 2 ,然后基本上要留1/4以上余量提供给上下文kv cache,当然你如果已经安装完发现显存不够,可以通过量化参数–quantization降低显存要求 PS.这台服务器真让人流口水啊,也不用担心装不下的问题 模型对应的配置要求: 注意仔细阅读模型的介绍页 会有推荐的显卡,如果你的显卡等级比推荐的低,大概率就是装不了 在安装方式那里,我们会看到要求的版本,现在好像vllm部署比较多,所以我们进入模型页面对应的vllm安装方式会看到 这里就有第一个踩坑的点: 虽然他标注的vllm>=0.19.0,但是我建议你就安装对应的版本 .我昨天按文档上的安装了最新vllm版本运行后又会出现版本兼容问题,浪费了不少时间调版本(也不知道是不是vllm高版本不向下兼容的问题,反正vllm里提示transformers版本不对,然后我就问哈基米解决方案,来回升降vllm和transformers版本,最后也解决不了,这实际部署行为,大模型可信度有限) 服务器CUDA版本升级 因为服务器是N卡而且现有的服务器CUDA版本太低了,对于要求版本的vllm不兼容,所以第一步先升级cuda. 先查询你要安装的cuda版本,这里我以要装的vllm 0.19.0为例: 安装要求： OS: Linux Python: 3.10 到 3.13 NVIDIA GPU: compute capability >= 7.0 官方依据： vLLM 0.19.0 GPU 安装要求： docs.vllm.ai GPU - vLLM NVIDIA GPU compute capability 官方查询表： NVIDIA Developer NVIDIA CUDA GPU Compute Capability Find the compute capability for your GPU. 这里如果显卡不满足cap的话就只能降vllm版本,装老一点的模型了 然后开始具体安装=> 前置:停掉所有占用显卡的进程,查询指令如下 nvidia-smi --query-compute-apps=pid,name --format=csv,noheader,nounits 如果是systemd启动的话可以在列表中先找到相关的服务 systemctl list-units --type=service --state=running 然后直接kill 或者使用对应的systemctl stop xxxx停止服务和nv manager服务 # 停止 Fabric Manager systemctl unmask nvidia-fabricmanager systemctl stop nvidia-fabricmanager # 查询当前驱动和已安装的 fabricmanager dpkg -l | grep -E 'nvidia-fabricmanager|nvidia-driver' apt-mark showhold | grep -E 'nvidia|cuda' || true # 解除旧 fabricmanager 的 hold 并卸载,我本地的是nvidia-fabricmanager-550 apt-mark unhold nvidia-fabricmanager-550 nvidia-fabricmanager-580 2>/dev/null || true apt purge -y nvidia-fabricmanager-550 nvidia-fabricmanager-580 # 停止所有可能占用 GPU 的持久化服务 systemctl stop nvidia-persistenced 接着去NV官网下载对应的 CUDA Toolkit wget https://developer.download.nvidia.com/compute/cuda/12.9.0/local_installers/cuda_12.9.0_575.51.03_linux.run sh cuda_12.9.0_575.51.03_linux.run 根据提示页面输入’accept’和选择install即可,等待安装完毕 安装完再系统的全局软链接更新指向新版本的 Toolkit mv /usr/local/cuda /usr/local/cuda.bak ln -s /usr/local/cuda-12.9 /usr/local/cuda # 查询 NVIDIA 驱动版本，fabricmanager 要匹配驱动版本，不是 CUDA toolkit 版本 nvidia-smi --query-gpu=driver_version --format=csv,noheader | head -n 1 # 查询 575 server 驱动和 fabricmanager 可用版本 apt update apt-cache policy nvidia-driver-575-server nvidia-fabricmanager-575 apt-cache madison nvidia-driver-575-server apt-cache madison nvidia-fabricmanager-575 # 安装匹配版本的 server driver + fabricmanager apt install -y nvidia-driver-575-server nvidia-fabricmanager-575 # 驱动升级后必须重启 reboot #恢复管理器 systemctl daemon-reload systemctl enable --now nvidia-fabricmanager systemctl start nvidia-fabricmanager systemctl status nvidia-fabricmanager nvidia-smi topo -m 这里 注意装完驱动必须重启服务器 ,然后nvidia-smi 后看到 CUDA Version: 12.9,至此cuda升级完毕 安装升级vllm 因为原先这台机器的vllm并不是我来安装的,所以升级的时候,直接安装一套新的conda做虚拟环境管理 wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh ./Anaconda3-2024.10-1-Linux-x86_64.sh #修改环境变量 echo 'export PATH=~/anaconda3/bin:$PATH' >> ~/.bashrc && source ~/.bashrc conda create -n vllm python=3.10 -y source ~/.bashrc && conda activate vllm #安装模型要求的vllm版本,这里替换了国内源,提高下载速度 pip install vllm==0.19.0 -i https://pypi.tuna.tsinghua.edu.cn/simple 后续就是调试vllm的启动命令了,这基本参照官方文档和问ai都能搞定,无非就是配置几个选项和上下文大小和量化指标那些 6 个帖子 - 4 位参与者 阅读完整话题
有个问题。 想搭建一个路由系统，实现对账号池的管理，去了解了LiteLLM， New API。 发现没有对账号池的管理模块。 想问一下，对账号池管理有相关的开源系统吗？或者方案？ 望大佬们赐教。将感激不尽。 1 个帖子 - 1 位参与者 阅读完整话题
我没招了，占了两天我i9-9900KF的50%，我说怎么风扇一直嗡嗡叫 1 个帖子 - 1 位参与者 阅读完整话题
因为用量很小，但是朋友希望能一个网站就用各种模型，而且他觉得网站更适合跟其他人装福（？），还有就是方便给其他人用一两下，所以最终决定搭个小网站，佬友们有没有什么模板可以推荐的？ 10 个帖子 - 10 位参与者 阅读完整话题
ai-agents.7z (32.7 KB) 已压缩,可以放到llm wiki里. 1 个帖子 - 1 位参与者 阅读完整话题
llm( 包括 vc) 上升曲线趋向平缓，终究边际效用递减，没人在乎提升 98% 和 97% 的工作效率的区别，只要达到 90% 以上，差距不会明显，比如讯飞的语音识别。 LLM vc 是人工智能能做的事情的极限（当下看），因为语义理解、任务拆分、逻辑性等等，语言处理（编程也是语言处理）是最简单的，所以 AI 能做到最好。 LLM 触顶不代表 AI 泡沫就会破灭，会延后，因为其他行业 LLM 不那么聪明的行业（物理空间），也会收到影响，这是一波逐步退去的浪潮。 如果几个 AI 巨头真的搞出来大家交口称赞的 AI 或者 agent ，那才是程序员的末日，这证明上升曲线还有空间。当然就算现在这样，也有一半要失业。 1 个帖子 - 1 位参与者 阅读完整话题
吓得我赶紧把任务停了，怕给我搞乱了还得恢复