雪球效应与AI创新-Andrej Karpathy分享成功秘诀

Andrej Karpathy最近在Berkeley的AI Hackathon上发表了一场20分钟的演讲，分享了他对AI发展的独特见解和对未来的展望。以下是演讲的主要观点总结：

全新的计算范式

15年前，AI还只是几百位学者在研讨会中讨论数学细节，而现在AI的热度已经使得NVIDIA成为美国市值最大的公司。

“我们似乎正在步入一个新的计算范式，这种情况极其罕见。我有种感觉好像回到了80年代刚出现计算机的时候。”Karpathy说。不同的是目前我们所运用的不再是执行字节指令的中央处理器/CPU，而是处理字符串片段的大语言模型/LLM。这种由大模型构成的新型的计算架构，可以将其称为大语言模型操作系统/LLM OS。

雪球效应 - 从小项目到大影响

很多看似微不足道的小项目，往往能够类似滚雪球一样产生意想不到的巨大影响。

• Karpathy以自己为例，讲述了如何从制作简单的游戏编程教程开始，逐步发展到在斯坦福大学教授深度学习课程，再到创建广受欢迎的YouTube频道；
• OpenAI的创业故事也是这样，最初从8个人的小团队起步想抗衡庞然大物的Google看起来很疯狂，到如今他们确实做到了。其中提到OpenAI在内部探索过大量的项目，其中一个看似不起眼的Reddit聊天机器人项目最终演变成了改变整个行业格局的GPT系列模型。

“一万小时定律”的重要性

Karpathy坚定地相信Malcolm Gladwell提出的”一万小时定律” - 成功源于反复的实践和大量的付出。即使是那些看似失败的项目,也在积累经验和提升技能。

那些看起来令人印象深刻的事情，如果你已经做过 20 次，其实就很容易了 - 他举了一个例子：正好自己周六想看电影，就顺手做了一个电影推荐引擎网站。有人给他留言说“哇，只用一个周末就搞定了，好酷啊。”，但Karpathy觉得这件事情其实并不算什么，因为“这些都是我已经做过20次的事情”。

通过做项目来保持大脑的活力和灵感

通过做项目，并且持续发布它们来实现对自己大脑的奖励 - 这种方式不仅能让你深入学习，还能获得反馈和成就感，让大脑持续释放多巴胺，保持工作的愉悦感。

不同于上课这样的广泛学习，通过做项目来学习能让人更全面深入地理解事物。而且当你最终还将这些项目对外发布，天然地提升了对工作质量的要求，这种压力和成就感使工作充满愉悦，同时能够积累大量经验。

AI的未来

如同电影《我，机器人》那样，Karpathy说 - “也许十年后我们会生活在一个机器人在我们周围走动、和我们交谈、在实体世界和数字世界中执行任务的环境中。那到底会是什么样子？我们如何去编程才能让它们按照我们的预期进行操作呢？”