随着这几年 AI 的崛起，我发现一个非常困惑的问题。

我觉得是 openai 验证了可能性，然后各大资本全力投入

涌现

应该是一个意外发现吧，Google 最先发明/发现了 transformer ，但最终是 OpenAI 根据这个原理做出了可用的 ChatGPT 。

openai 点了个火，然后大国们为了追逐下一次的科技革命开始疯狂投入资源。

而且在这个上一次科技革命红利吃完，蛋糕已经没法做大，A 多吃一口，其他人就会少吃一口的时代，如果再不赶紧捣鼓出下一个引爆全球的科技革命，那就只能是继续疯抢别人的蛋糕了。

相比于三战，我还是期望 AI 能成功，哪怕最终取代人类。

感觉已经到了硬件瓶颈了，需要新的技术来打破。另外网速满足，费用降低、数据足够庞大、大数据足够集中、 平台足够完善、硬件材料足够算力，在算力、传输、成本达到民用级别体验，综合的出现，自然出现 Ai 这个技术结果。

貌似是有篇论文发了关于注意力（ attention ）的内容，然后 openai 就去做了。

@youshangdemajia 刚去问了 ai ，ai 也回答说的是你说的这个 transformer

AI 人工智能一直都有，个人认为质变的标志性事件，是 Backprop 在 deeplearning 上的大规模应用，Hinton 的团队凭借 AlexNet 在某项比赛夺冠，然后很多大科技公司开始投入天量资本和人力进行研发，Hinton 后来还因此被授予了诺贝尔奖。

我个人理解，是一个量产引起质变的过程。AI 的基础，神经网络等算法，上个世纪就有了，但是由于科技限制没有发展起来。这个世纪初头 20 年，得益于打游戏的，显卡的并行计算得到了极大发展，并且在 alphaGO 的一战中让人们看到了深度学习的无限可能性，吸引到投资界的关注。然后因为互联网和云计算的发展，大数据这块也让有了长足进步，这两个一结合，这时候 transformer 的出现给这把火加了一点油，诞生了 LLM ，完成了现在 AI 的所有积累。
然后你回看，其实并没有什么地方是决定性的拐点，都是人类科技树一步一步点上来的

我觉得好像是 DeepMind 的阿法狗在围棋领域打败人类之后，
我记得当时就有点无法理解 AI 为什么能战胜人类了，
大致原理就是不断地对抗训练，让 AI 能得到最佳的下法，
这和现在的 AI 编程原理差不多，不断地用 GitHub 训练，然后对问题得出最佳的解决方案。

据我最近读《 Machine learning systems 》了解到的是目前在整个机器学习发展历程中达到一个新高峰，比如语言模型上注意力集中的出现解决了 RNN 的时序跨越关联崩溃问题（只了解到这，有兴趣可以深入研读）

attention ，transformer 这类技术和概念出现，openai 工程化效果很好，发现堆算力有明显增长，一下子就爆发了，技术的爆发过程不是线性的，而是指数的，所以现在感觉每一小段时间变化就很大，因为还没到下阶段的瓶颈，当算法，电力，算力，都到平台期后，观感会好点，所以现在活着就是在享受技术的福利，至于对工作岗位的影响，你悲不悲观都是注定的，已经不可逆了，要么就是积极参与，要么坐等以后的政策，毕竟有很多地方还是需要人的，只是目前处于错配阶段

我觉得最主要两个因素：
1 Hinton 的研究成果，基于语义学和心理学
2 硬件到了一定的程度，尤其显卡对于游戏（三角形贴图）的简单且强大的计算力适合第 1条的计算规则。

就一点, 证明了力大砖飞是可行的, llm 前两年都会着重说明对应的就是训练参数. 现在则是调优方向了.

涌现 +1

本来 AI 的底层是统计概率学，这玩意是没有真正的逻辑思维能力的，但人类在砸钱砸算力的大力飞砖情况下，发现这玩意，在算力超过一定阈值的情况下，居然诞生了一种特殊的新产物：涌现。

涌现这玩意，逻辑方式与人类不同，思维高度已经等同于人类。虽然目前因为算力不足，逻辑能力还没办法与人类完全媲美，但计算机的记忆能力又远超人类（无损记忆），反而导致了大部分普通人的思维还不如 AI 。

随着各大 AI 厂继续指数级地砸算力，涌现能力只会越来越强，到时候 AI 通过涌现 + 无损记忆，思维能力超越人类是迟早的事情。

历史上，因意外而被发现或发明的还有磁场、青霉素、微波炉、伟哥、便利贴、火药、不锈钢。