本人是国内高校的在读研究生,研究方向是时序数据和基础大模型。认识本站的缘由是我的朋友向我推荐了L站,他在本年初加入了本站。随后我平时也会浏览本站的SOTA的一些帖子,有时还可以遇到一些免费的福利羊毛。 直到前阵子学智能体被一个部署本地模型环境的问题搞得头大,在外面搜了一圈全是CSDN那种要关注、要充值的烂帖子。后来在 L 站刷到篇解决思路,没废话。当前,我主要就是做科研和学项目找实习,在L站里我看到了很多同样研究时序数据的前辈,从他们身上也学习到了很多,就比如可以用时序数据搞量化,这是我从未设想的道路。 此外,还有其他前辈在站里分享做多智能体的项目和找字节阿里等实习的经验,对我受益颇多。后续我也想在社区分享一些自己在时序数据清洗和多智能体学习上的经验,跟各位前辈的一起搞点真正有价值的东西。来的稍晚,希望能早点融入。 8 个帖子 - 8 位参与者 阅读完整话题
6 个 20T 的硬盘, 用 raid 卡组 raid 10 之后容量 55T, 准备用作时序数据库的存储. 短期数据在 128G 的内存里, 中长期的才会写到硬盘上. 刚把硬盘初始化为 xfs 后发现直接占用了 1.1T 的空间, 测试了一下发现是 xfs 选项 reflink 和 rmapbt 的问题 reflink=1, rmapbt=1 占用 1.1 TB reflink=0, rmapbt=0 占用 56 GB reflink=0, rmapbt=1 占用 737 GB 问了下 AI 在我这个使用场景上是否应该关闭这俩选项, 有啥缺点, 结果 ChatGPT 和 Gemini 吵起来了, 对对方的回答都不认同😅. 所以想来这里问下 xfs 初始化选项大概是这样 mkfs.xfs -f \ -d su=64k,sw=3 \ -m reflink=0,rmapbt=0 \ -l size=512m,version=2 \ -i size=512 \ /dev/sdc
项目背景 开发一款高并发、海量时序数据的统计聚合 Web 平台。需对接第三方 API 进行动态高频数据接入,处理千万/亿级流水数据的复杂计算与增量重算。前期 Docker 单机部署,后续分布式演进。 前端(用户端 + 管理端,30+ 页面)已全部完成,现需后端开发接入真实数据。 核心技术栈 技术 用途 Go 全部后端服务 ClickHouse 时序数据存储、复杂聚合查询 MySQL 业务数据存储 Redis 缓存、任务队列、排行榜 Docker 容器化部署 熟悉 PostgreSQL + TimescaleDB 更佳,懂 Vue 3 / ECharts 全栈最佳 技术要求 必须 **Go 3 年+**,精通 Goroutine 高并发、异步任务调度 能实现稳定的第三方数据接入管道(限流、重试、动态降频/休眠) ClickHouse :精通时序数据表结构设计、物化视图、窗口函数,手写优化复杂聚合 SQL MySQL :常规业务数据建模与查询优化 Redis :任务队列、排行榜( Sorted Set )、分布式缓存 RESTful API 设计 :前端已完成,需要你设计并实现全部后端接口,包括复杂的多条件筛选、排序、分页查询 用户体系 :注册(邮箱验证码 + 邀请码机制)、登录、找回密码、JWT 认证、用户资料管理 权限体系 :用户 / 管理员多角色权限控制,数据隐私权限(公开 / 私有,细粒度可见性控制) 定时任务调度 :数据同步、统计指标重算、排行榜定时刷新、缓存更新等多种周期性任务的编排管理 文件上传与审核流程 :图片上传、格式校验、大小限制,配合管理端的审核工作流 日志与监控 :操作日志记录、邮件发送日志、API 调用频率监控与管理 数据管理 :软删除 / 回收站机制,数据备份策略 能独立扛项目,从 0 搭建后端架构 加分 有第三方 API 数据对接 / 金融数据处理经验 有邮件服务集成经验( SMTP 验证码、通知邮件、邮件模板) 熟悉 WebSocket 实时推送(数据同步进度、状态通知等场景) 熟悉 Kafka 消息队列 有公告 / CMS 内容管理系统开发经验 熟练使用 AI 辅助编程提效 合作方式 形式 :远程,长期合作 协作 :与项目负责人直接对接,前端已完成 交付 :全部代码交付,确保程序部署后稳定运行 后期维护 :开发完成后需持续负责运维支持,解决线上问题、功能迭代优化(非一次性交付) 长期合作 :合作愉快的话,后续有其他新项目的技术需要优先请你做 薪资 :面议 应聘请提供 简历 / GitHub / 技术博客 过往类似项目经验简述(高并发数据处理相关) 期望薪资和可投入时间 感兴趣联系: 6IGU57O7OgpzdWtod2luZGVycmVnaXN0ZXI5MjdAZ21haWwuY29t
项目背景 开发一款高并发、海量时序数据的统计聚合 Web 平台。需对接第三方 API 进行动态高频数据接入,处理千万/亿级流水数据的复杂计算与增量重算。前期 Docker 单机部署,后续分布式演进。 前端(用户端 + 管理端,30+ 页面)已全部完成,现需后端开发接入真实数据。 核心技术栈 技术 用途 Go 全部后端服务 ClickHouse 时序数据存储、复杂聚合查询 MySQL 业务数据存储 Redis 缓存、任务队列、排行榜 Docker 容器化部署 熟悉 PostgreSQL + TimescaleDB 更佳,懂 Vue 3 / ECharts 全栈最佳 技术要求 必须 **Go 3 年+**,精通 Goroutine 高并发、异步任务调度 能实现稳定的第三方数据接入管道(限流、重试、动态降频/休眠) ClickHouse :精通时序数据表结构设计、物化视图、窗口函数,手写优化复杂聚合 SQL MySQL :常规业务数据建模与查询优化 Redis :任务队列、排行榜( Sorted Set )、分布式缓存 RESTful API 设计 :前端已完成,需要你设计并实现全部后端接口,包括复杂的多条件筛选、排序、分页查询 用户体系 :注册(邮箱验证码 + 邀请码机制)、登录、找回密码、JWT 认证、用户资料管理 权限体系 :用户 / 管理员多角色权限控制,数据隐私权限(公开 / 私有,细粒度可见性控制) 定时任务调度 :数据同步、统计指标重算、排行榜定时刷新、缓存更新等多种周期性任务的编排管理 文件上传与审核流程 :图片上传、格式校验、大小限制,配合管理端的审核工作流 日志与监控 :操作日志记录、邮件发送日志、API 调用频率监控与管理 数据管理 :软删除 / 回收站机制,数据备份策略 能独立扛项目,从 0 搭建后端架构 加分 有第三方 API 数据对接 / 金融数据处理经验 有邮件服务集成经验( SMTP 验证码、通知邮件、邮件模板) 熟悉 WebSocket 实时推送(数据同步进度、状态通知等场景) 熟悉 Kafka 消息队列 有公告 / CMS 内容管理系统开发经验 熟练使用 AI 辅助编程提效 合作方式 形式 :远程,长期合作 协作 :与项目负责人直接对接,前端已完成 交付 :全部代码交付,确保程序部署后稳定运行 后期维护 :开发完成后需持续负责运维支持,解决线上问题、功能迭代优化(非一次性交付) 长期合作 :合作愉快的话,后续有其他新项目的技术需要优先请你做 薪资 :面议 应聘请提供 简历 / GitHub / 技术博客 过往类似项目经验简述(高并发数据处理相关) 期望薪资和可投入时间 感兴趣联系: 6IGU57O7OgpzdWtod2luZGVycmVnaXN0ZXI5MjdAZ21haWwuY29t
项目背景 开发一款高并发、海量时序数据的统计聚合 Web 平台。需对接第三方 API 进行动态高频数据接入,处理千万/亿级流水数据的复杂计算与增量重算。前期 Docker 单机部署,后续分布式演进。 前端(用户端 + 管理端,30+ 页面)已全部完成,现需后端开发接入真实数据。 核心技术栈 技术 用途 Go 全部后端服务 ClickHouse 时序数据存储、复杂聚合查询 MySQL 业务数据存储 Redis 缓存、任务队列、排行榜 Docker 容器化部署 熟悉 PostgreSQL + TimescaleDB 更佳,懂 Vue 3 / ECharts 全栈最佳 技术要求 必须 **Go 3 年+**,精通 Goroutine 高并发、异步任务调度 能实现稳定的第三方数据接入管道(限流、重试、动态降频/休眠) ClickHouse :精通时序数据表结构设计、物化视图、窗口函数,手写优化复杂聚合 SQL MySQL :常规业务数据建模与查询优化 Redis :任务队列、排行榜( Sorted Set )、分布式缓存 RESTful API 设计 :前端已完成,需要你设计并实现全部后端接口,包括复杂的多条件筛选、排序、分页查询 用户体系 :注册(邮箱验证码 + 邀请码机制)、登录、找回密码、JWT 认证、用户资料管理 权限体系 :用户 / 管理员多角色权限控制,数据隐私权限(公开 / 私有,细粒度可见性控制) 定时任务调度 :数据同步、统计指标重算、排行榜定时刷新、缓存更新等多种周期性任务的编排管理 文件上传与审核流程 :图片上传、格式校验、大小限制,配合管理端的审核工作流 日志与监控 :操作日志记录、邮件发送日志、API 调用频率监控与管理 数据管理 :软删除 / 回收站机制,数据备份策略 安全防护 :具备 Web 安全意识,能防御 SQL 注入、XSS 、CSRF 等常见攻击,敏感数据加密存储 能独立扛项目,从 0 搭建后端架构 加分 有第三方 API 数据对接 / 金融数据处理经验 有邮件服务集成经验( SMTP 验证码、通知邮件、邮件模板) 熟悉 WebSocket 实时推送(数据同步进度、状态通知等场景) 熟悉 Kafka 消息队列 有公告 / CMS 内容管理系统开发经验 熟练使用 AI 辅助编程提效 合作方式 形式 :远程,长期合作 协作 :与项目负责人直接对接,前端已完成 交付 :全部源代码交付,确保程序部署后稳定运行 后期维护 :开发完成后需持续负责运维支持,解决线上问题、功能迭代优化(非一次性交付) 长期合作 :合作愉快的话,后续有新项目优先交给你 薪资 :面议 应聘请提供 简历 / GitHub / 技术博客 过往类似项目经验简述(高并发数据处理相关) 期望薪资和可投入时间 感兴趣联系: 6IGU57O7OgpzdWtod2luZGVycmVnaXN0ZXI5MjdAZ21haWwuY29t
项目背景 开发一款高并发、海量时序数据的统计聚合 Web 平台。需对接第三方 API 进行动态高频数据接入,处理千万/亿级流水数据的复杂计算与增量重算。前期 Docker 单机部署,后续分布式演进。 前端(用户端 + 管理端,30+ 页面)已全部完成,现需后端开发接入真实数据。 核心技术栈 技术 用途 Go 全部后端服务 ClickHouse 时序数据存储、复杂聚合查询 MySQL 业务数据存储 Redis 缓存、任务队列、排行榜 Docker 容器化部署 熟悉 PostgreSQL + TimescaleDB 更佳,懂 Vue 3 / ECharts 全栈最佳 技术要求 必须 **Go 3 年+**,精通 Goroutine 高并发、异步任务调度 能实现稳定的第三方数据接入管道(限流、重试、动态降频/休眠) ClickHouse :精通时序数据表结构设计、物化视图、窗口函数,手写优化复杂聚合 SQL MySQL :常规业务数据建模与查询优化 Redis :任务队列、排行榜( Sorted Set )、分布式缓存 RESTful API 设计 :前端已完成,需要你设计并实现全部后端接口,包括复杂的多条件筛选、排序、分页查询 用户体系 :注册(邮箱验证码 + 邀请码机制)、登录、找回密码、JWT 认证、用户资料管理 权限体系 :用户 / 管理员多角色权限控制,数据隐私权限(公开 / 私有,细粒度可见性控制) 定时任务调度 :数据同步、统计指标重算、排行榜定时刷新、缓存更新等多种周期性任务的编排管理 文件上传与审核流程 :图片上传、格式校验、大小限制,配合管理端的审核工作流 日志与监控 :操作日志记录、邮件发送日志、API 调用频率监控与管理 数据管理 :软删除 / 回收站机制,数据备份策略 能独立扛项目,从 0 搭建后端架构 加分 有第三方 API 数据对接 / 金融数据处理经验 有邮件服务集成经验( SMTP 验证码、通知邮件、邮件模板) 熟悉 WebSocket 实时推送(数据同步进度、状态通知等场景) 熟悉 Kafka 消息队列 有公告 / CMS 内容管理系统开发经验 熟练使用 AI 辅助编程提效 合作方式 形式 :远程,长期合作 协作 :与项目负责人直接对接,前端已完成 交付 :全部代码交付,确保程序部署后稳定运行 后期维护 :开发完成后需持续负责运维支持,解决线上问题、功能迭代优化(非一次性交付) 长期合作 :合作愉快的话,后续有其他新项目的技术需要优先请你做 薪资 :面议 应聘请提供 简历 / GitHub / 技术博客 过往类似项目经验简述(高并发数据处理相关) 期望薪资和可投入时间 感兴趣联系: 6IGU57O7OgpzdWtod2luZGVycmVnaXN0ZXI5MjdAZ21haWwuY29t
项目背景: 开发一款高并发、海量时序数据的统计聚合 Web 平台。对第三方 API 进行动态高频数据接入,千万/亿级流水数据的复杂计算与重算/增量计算。前期 Docker 单机部署,后续分布式演进。 前端(用户端 + 管理端,20+ 页面)已全部完成,需后端接入真实数据。 核心技术栈: Go 、ClickHouse 、MySQL 、Redis (熟悉 PostgreSQL + TimescaleDB 更佳,懂 Vue 3 / ECharts 全栈最佳) 技术要求: Go :精通 Goroutine 高并发、异步任务调度,能实现稳定的数据接入管道(限流、重试、动态降频/休眠) ClickHouse :精通时序数据表结构设计、物化视图、窗口函数,手写优化复杂聚合 SQL MySQL :常规业务数据处理 Redis :任务队列、缓存、排行榜 熟悉 JWT 认证、敏感数据加密存储、基本安全防护 有邮件服务集成经验(验证码、通知)加分 熟悉 Kafka 消息队列加分 3 年以上,能独立扛项目 熟练使用 AI 辅助编程提效 感兴趣联系:6IGU57O7IApzdWtod2luZGVycmVnaXN0ZXI5MjdAZ21haWwuY29t
项目背景: 开发一款高并发、海量时序数据的统计聚合 Web 平台。对第三方 API 进行动态高频数据接入,千万/亿级流水数据的复杂计算与重算/增量计算。前期 Docker 单机部署,后续分布式演进。 前端(用户端 + 管理端,20+ 页面)已全部完成,需后端接入真实数据。 核心技术栈: Go 、ClickHouse 、MySQL 、Redis (熟悉 PostgreSQL + TimescaleDB 更佳,懂 Vue 3 / ECharts 全栈最佳) 技术要求: Go :精通 Goroutine 高并发、异步任务调度,能实现稳定的数据接入管道(限流、重试、动态降频/休眠) ClickHouse :精通时序数据表结构设计、物化视图、窗口函数,手写优化复杂聚合 SQL MySQL :常规业务数据处理 Redis :任务队列、缓存、排行榜 熟悉 JWT 认证、敏感数据加密存储、基本安全防护 有邮件服务集成经验(验证码、通知)加分 熟悉 Kafka 消息队列加分 3 年以上,能独立扛项目 熟练使用 AI 辅助编程提效 感兴趣联系:6IGU57O7IApzdWtod2luZGVycmVnaXN0ZXI5MjdAZ21haWwuY29t
项目背景: 开发一款高并发、海量时序数据的统计聚合 Web 平台。对第三方 API 进行动态高频数据接入,千万/亿级流水数据的复杂计算与重算/增量计算。前期 Docker 单机部署,后续分布式演进。 前端(用户端 + 管理端,20+ 页面)已全部完成,需后端接入真实数据。 核心技术栈: Go 、ClickHouse 、MySQL 、Redis (熟悉 PostgreSQL + TimescaleDB 更佳,懂 Vue 3 / ECharts 全栈最佳) 技术要求: Go :精通 Goroutine 高并发、异步任务调度,能实现稳定的数据接入管道(限流、重试、动态降频/休眠) ClickHouse :精通时序数据表结构设计、物化视图、窗口函数,手写优化复杂聚合 SQL MySQL :常规业务数据处理 Redis :任务队列、缓存、排行榜 熟悉 JWT 认证、敏感数据加密存储、基本安全防护 有邮件服务集成经验(验证码、通知)加分 熟悉 Kafka 消息队列加分 3 年以上,能独立扛项目 熟练使用 AI 辅助编程提效 感兴趣联系:6IGU57O7IApzdWtod2luZGVycmVnaXN0ZXI5MjdAZ21haWwuY29t
做时序大模型的算法怎么调优长点啊,回归和分类的任务 1 个帖子 - 1 位参与者 阅读完整话题
长时序推理是多步逻辑连贯推演,和文本长度无关;长文本推理是处理超长文本,本身不必然含时序 4 个帖子 - 4 位参与者 阅读完整话题
看到有些人都推荐SequenceDiagram Core这个插件去生成时序图,对于项目的过程能够看的很清晰,但是我想下载的时候发现要付十几美刀,其他平替的话没找到几个,有没有佬友推荐一些相关的呢 1 个帖子 - 1 位参与者 阅读完整话题