最近在各种项目里深度使用了codex，发现确实能够极大提高效率。首先就是不用再花大量时间在一堆预处理/画图代码上了。以前拿到数据需要花上几天时间一边查各种matplotlib或者pandas的api，一边测试代码，当时虽然也有copilot的帮助，但效果实在是不敢恭维。现在只需要不断拷打codex，就能很快得到结果，甚至代码中有些edge condition的情形考虑得比我周到多了。
第二点就是能够顺着项目脉络提供现有方法的延伸与拓展。之前的项目中有个优化方法效果不佳，在没有AI的情况下只能想办法把原始数据整理成图分析其中的原因，并根据推测的原因去找相关文献，看看能否解决，或者有没有什么其他方法可以弥补。而现在codex常常能从原始结果中一眼“看出”趋势和问题，节省了大量分析的时间，甚至能够根据这些结果给出一些相当有用的方法改进建议，并附上参考文献。
尽管他有着如此之多的好处，在我看来，AI用于科研仍然有着严重的缺陷，甚至这个缺陷本身也恰恰源于前面的优势，大模型实在太过于关注自己的上下文了，给定一个项目，他就会按照这个方向不停向前探索，探索的过程又反过来强化了他对这个方向的笃定，以至于经常表现出一种执拗的性格。这种模式固然输出了前文所述的那种基于已有方法的延伸/拓展/改良，但也丧失了人类那种纵观全局后把握关键概念的直觉。
打个很不恰当的比方，假设我现在并不知道圆的概念，只是不断地用割圆术去逼近自然界中那个理想的圆，那么用不了多久就会筋疲力尽，难以推进下去了，而AI则能够沿着割圆这条路径钻研下去，不断开发出更加精确更加细致的割圆方法，毕竟这正是AI的优势。然而当这个割圆术发展到了极致，人类总是能够自然而然地凭借几何上的直觉从中观察到圆就是到平面上某点距离相等的点的集合，并自然而然地发明出圆规这种东西。可AI，在积累了无数割圆的上下文后，却越来越把自己困在如何更加高效割圆的技术问题中，无法转过头来重新认识这个问题。
当然这个例子存在很多漏洞。比如当我在会话开始时就让AI研究割圆这个问题，那么他或许大概率会反应过来圆的本质，可是这里的问题在于，科研是个复杂的系统工程，连充满经验和直觉的人类也需要从一个点开始尝试，不可能上来就站在某个高度看待问题，缺少了这种高瞻远瞩的prompt，AI很难自发地去寻找适宜的直觉。另一个漏洞在于，这个例子完全没有“Human in the loop”，在实际操作中，我们完全可以自己用肉眼去观察AI割出的近乎完美的圆，然后捕捉有关圆的显而易见的几何直觉。
而这也是我现在正试图探索的做法，把AI的“方法论”与我的“世界观”结合起来，尝试让两者形成互补的回路。具体来说，AI可以一次性针对多个问题铺开大量实验，只是对实验结果的分析往往因为项目文件和此前prompt的影响变成“如何在实践上解决这个问题”。这时候我所做的就是让他客观汇报观察到的实验结果，并简单分析原因，每个实验目录输出一份简短的报告，然后在上级目录根据这些报告再次汇总，重复这个过程直到顶层目录。这样一来，我作为Human就不必陷在无尽的预处理与数据分析中，而是直接有了不同层级抽象后的实验结果，于是终于能有一个从上层到底层都更加干净的“上下文”来发挥自己的直觉，来判断究竟应该如何评估当前的问题，来产生一个更适合该问题的解决方案。
简单来说，就是让AI去写代码、跑实验、理结果，但同时保留对实验分层次的汇总，再让人来观察这种汇总，思考是继续让AI在这个路径内死磕，还是退一步，用另一个坐标系来描述这个问题。
5 个帖子 - 5 位参与者