WWW.YOUINFO.SITE
标签聚合 从事

/tag/从事

LinuxDo 最新话题 · 2026-06-10 18:00:45+08:00 · tech

昨天帮甲方升级了一下本地的老模型,因为本人并不是从事运维工作,只是临时补坑,还是浪费了点时间.现在回头做个梳理,希望佬友们在用得到的时候也有个参考(感觉都比较基础,专业的大佬可以跳过不看) 模型下载: 国内环境推荐直接使用 modelscope 下载,如果是内网环境的话,可以下载完再上传到服务器.这里重点关注2个地方 模型选择 一般来说我们首先考虑显存大小,先本地使用nvidia-smi,查看本机显存 非量化模型可以有个简单的公式:显存 ≈ 参数量 × 2 ,然后基本上要留1/4以上余量提供给上下文kv cache,当然你如果已经安装完发现显存不够,可以通过量化参数–quantization降低显存要求 PS.这台服务器真让人流口水啊,也不用担心装不下的问题 模型对应的配置要求: 注意仔细阅读模型的介绍页 会有推荐的显卡,如果你的显卡等级比推荐的低,大概率就是装不了 在安装方式那里,我们会看到要求的版本,现在好像vllm部署比较多,所以我们进入模型页面对应的vllm安装方式会看到 这里就有第一个踩坑的点: 虽然他标注的vllm>=0.19.0,但是我建议你就安装对应的版本 .我昨天按文档上的安装了最新vllm版本运行后又会出现版本兼容问题,浪费了不少时间调版本(也不知道是不是vllm高版本不向下兼容的问题,反正vllm里提示transformers版本不对,然后我就问哈基米解决方案,来回升降vllm和transformers版本,最后也解决不了,这实际部署行为,大模型可信度有限) 服务器CUDA版本升级 因为服务器是N卡而且现有的服务器CUDA版本太低了,对于要求版本的vllm不兼容,所以第一步先升级cuda. 先查询你要安装的cuda版本,这里我以要装的vllm 0.19.0为例: 安装要求: OS: Linux Python: 3.10 到 3.13 NVIDIA GPU: compute capability >= 7.0 官方依据: vLLM 0.19.0 GPU 安装要求: docs.vllm.ai GPU - vLLM NVIDIA GPU compute capability 官方查询表: NVIDIA Developer NVIDIA CUDA GPU Compute Capability Find the compute capability for your GPU. 这里如果显卡不满足cap的话就只能降vllm版本,装老一点的模型了 然后开始具体安装=> 前置:停掉所有占用显卡的进程,查询指令如下 nvidia-smi --query-compute-apps=pid,name --format=csv,noheader,nounits 如果是systemd启动的话可以在列表中先找到相关的服务 systemctl list-units --type=service --state=running 然后直接kill 或者使用对应的systemctl stop xxxx停止服务和nv manager服务 # 停止 Fabric Manager systemctl unmask nvidia-fabricmanager systemctl stop nvidia-fabricmanager # 查询当前驱动和已安装的 fabricmanager dpkg -l | grep -E 'nvidia-fabricmanager|nvidia-driver' apt-mark showhold | grep -E 'nvidia|cuda' || true # 解除旧 fabricmanager 的 hold 并卸载,我本地的是nvidia-fabricmanager-550 apt-mark unhold nvidia-fabricmanager-550 nvidia-fabricmanager-580 2>/dev/null || true apt purge -y nvidia-fabricmanager-550 nvidia-fabricmanager-580 # 停止所有可能占用 GPU 的持久化服务 systemctl stop nvidia-persistenced 接着去NV官网下载对应的 CUDA Toolkit wget https://developer.download.nvidia.com/compute/cuda/12.9.0/local_installers/cuda_12.9.0_575.51.03_linux.run sh cuda_12.9.0_575.51.03_linux.run 根据提示页面输入’accept’和选择install即可,等待安装完毕 安装完再系统的全局软链接更新指向新版本的 Toolkit mv /usr/local/cuda /usr/local/cuda.bak ln -s /usr/local/cuda-12.9 /usr/local/cuda # 查询 NVIDIA 驱动版本,fabricmanager 要匹配驱动版本,不是 CUDA toolkit 版本 nvidia-smi --query-gpu=driver_version --format=csv,noheader | head -n 1 # 查询 575 server 驱动和 fabricmanager 可用版本 apt update apt-cache policy nvidia-driver-575-server nvidia-fabricmanager-575 apt-cache madison nvidia-driver-575-server apt-cache madison nvidia-fabricmanager-575 # 安装匹配版本的 server driver + fabricmanager apt install -y nvidia-driver-575-server nvidia-fabricmanager-575 # 驱动升级后必须重启 reboot #恢复管理器 systemctl daemon-reload systemctl enable --now nvidia-fabricmanager systemctl start nvidia-fabricmanager systemctl status nvidia-fabricmanager nvidia-smi topo -m 这里 注意装完驱动必须重启服务器 ,然后nvidia-smi 后看到 CUDA Version: 12.9,至此cuda升级完毕 安装升级vllm 因为原先这台机器的vllm并不是我来安装的,所以升级的时候,直接安装一套新的conda做虚拟环境管理 wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh ./Anaconda3-2024.10-1-Linux-x86_64.sh #修改环境变量 echo 'export PATH=~/anaconda3/bin:$PATH' >> ~/.bashrc && source ~/.bashrc conda create -n vllm python=3.10 -y source ~/.bashrc && conda activate vllm #安装模型要求的vllm版本,这里替换了国内源,提高下载速度 pip install vllm==0.19.0 -i https://pypi.tuna.tsinghua.edu.cn/simple 后续就是调试vllm的启动命令了,这基本参照官方文档和问ai都能搞定,无非就是配置几个选项和上下文大小和量化指标那些 6 个帖子 - 4 位参与者 阅读完整话题

LinuxDo 最新话题 · 2026-06-10 12:26:38+08:00 · tech

本人之前从事二进制方向,PWN和逆向的研究,从一个月前开始SRC的研究。正好赶上了这波AI挖掘SRC的浪潮,各路培训机构层出不穷,本人也在可以算是第一家有成熟套路的机构报了名,上了几天课,但是一直有几个无法解决的问题,在此分享一些目前的一些收获和测试情况(后面我会附上我想到的问题,有些问题没有实践只是猜想)以及向各位佬友交流一下有没有更好的解决方案。 各类堆skill大法 在这个方法下又诞生了几种方法论: 把SRC报告喂给ai,让ai总结成skill 问题:src报告通常都是复现过程,缺少了漏洞发现的过程,以及一些排查思路。 让ai打靶场,总结成skill 问题:实测dp无法很好地写这个skill,打到有价值的地方也不进行总结,gpt5.5稍微好一点,但是效果也不尽人意 蒸馏各类网安skill 问题:显而易见,听说这种skill很难出货,因为信息杂乱,通常是由ai总结,依然脱离实战 另外,实测发现随着上下文变长,AI会慢慢不听skill的话 记忆系统 这种方法我觉得不仅适用于网安,也适用其他领域。 就是将上下文、技巧、经验不仅存储在skill里,也存储在数据库中 问题:ai不知道什么时候把当前的重复错误行为和有价值的经验存入数据库,也不知道什么时候从数据库中提取什么经验。且选型我目前很纠结,这个东西类似本地知识库,但是用RAG又很臃肿,用jsonl又过于轻量且只能用关键词一比一搜索,不能模糊搜索,那还有什么意义呢,比如xss一搜,可能出来很多很多,即便解决了这个问题,也面临ai不会用的问题。 我想到的解决办法: 针对记忆系统,使用传统skill的方式去写,但是由人工审核干预,还是很累做不到自动化,比如看到AI重复犯错,就触发写记忆skill,写到对应领域的技巧的skill里 轻量skill,skill只做角色定位+写记忆skill+记忆 实测还是有问题 ,不约束流程,ai会漏掉很多接口,功能点,还是不听skill的话,上下文问题还是无法解决。以下是测试情况,测试目标是我徒弟测试过的一个edu站点。 第一版重流程skill(从国外大佬提取+打靶场强制他优化)无记忆系统: deepseek v4 pro可以挖到edu站点中手挖几小时出来的同样的身份证信息泄露,又多挖出来四个csrf 第二版加记忆系统,轻skill: dp直接蒙圈,困在主站页面,浪费大量token后没有任何发现(开始不用mcp工具一直用curl) gpt5.5竟然更严重,从头到尾不调用mcp工具 第三版最轻量skill: gpt5.5同样的问题,并且会胆子很小,各种功能点全部避开,甚至js都不看 目前也是徘徊,我觉得记忆系统有必要,但是不知道怎样落地,ai挖洞的意义难道不是覆盖手工无法覆盖的地方,提高手工的效率吗,如果他学不会手工的技巧,漏掉功能点,哪还有什么意义呢,初入此站,望各位佬友能一起交流,寻找灵感。 5 个帖子 - 2 位参与者 阅读完整话题

LinuxDo 最新话题 · 2026-06-08 09:36:23+08:00 · tech

最近在考虑要不要换工作,所以在观望一些工作机会,感觉现在纯某个具体技术方向的岗位越来越少了,很多都是 AI 全栈开发、Agent 开发、AI 优化、Prompt 优化工程师这类岗位 虽然目前开发也用 AI,但是不了解像 Agent 开发、Prompt 优化这种专能岗位具体面试一般会问哪些方向的问题,可以做些什么准备,光看相关岗位招聘描述挺虚的 有无佬有相关岗位的面试、工作经验可以分享分享的嘞 2 个帖子 - 2 位参与者 阅读完整话题

LinuxDo 最新话题 · 2026-06-03 10:49:40+08:00 · tech

我目前在江苏,从事为企业提供ai赋能服务。有政府资源并且本地产业园的所有企业老板都相熟。 这边的产业基本为制造业,并且是行业聚集地(某一个品的全国最大生产基地),由于行业需求特殊,金蝶等主流ERP/CRM系统不能很好的适配,天然具有一定行业机会和壁垒。 我和多位老板聊过后都对一个集成了agent能力的智能化系统感兴趣。且有2位有投资意向并且可以在其企业进行试点测试。 在其中一家企业试点的可行开发路线大致为: 1、切入方向:智能化CRM / ai员工培训(内部知识流转)/ 运营团队自动化系统,这边已经可以开始商业化 2、长期目标:整合ERP等其他企业用系统,逐步增加智能客服、智能行政等功能 3、最终目标:打造专注于制造业的企业ai智能中台。智能化企业内部信息流转、利用computer use等agent能力,大幅节省人力,让制造业企业更快更轻 我自己长期浸泡L站,对前沿ai技术都了解,并且在这个行业呆了几年,熟悉行业知识。 目前在帮助几家企业利用ai工具赋能业务,提高人效。比如ai工具培训、codex等agent平台的配置、开源知识库配置与接入、ai自动化工作流搭建等。并且vibe coding了一个基于LangGraph以及多个开源库的agent自动化网络运营平台。 但由于我不是技术出生,较难真正去落地与完善一个企业级的软件系统。所以希望寻找伙伴一起做这个事。 1、需要有足够的开发能力,最好有企业agent项目的开发经验,以及管理开发团队的经验(比如做企业agent开发外包的佬们) 2、如果是个人,不超过32岁。(我26,年纪太大怕有代沟哈哈) 3、最好熟悉CRM/ERP等企业用系统架构,最好有开发经验 4、离江苏不太远,比如苏州、杭州、上海等。最好能够来本地 5、如果是成熟团队,我加入你们也行。 我可以负责的内容大致为:企业需求梳理、产品方向制定、落地推进(员工培训、教育)、拉客户谈合作、一部分能够vibe coding的开发、一部分skills、promp等系统调优 欢迎有兴趣的佬们讨论或私我 4 个帖子 - 3 位参与者 阅读完整话题