Openai的founder Ilya最近一起的访谈利用周末时间好好细读了下。Ilya的这个访谈值得好好看几遍，除了讲了从scaling时代正迈向研究时代（不能只靠算力不断的扩展来实现更智能），我印象最深的是他的关于“研究品味“。 这个品味，是在研究过程中，让他能在研究高度不确定的事物时，如何通过自己的品味（信念和经验）自上而下的去验证，这个信念在AI里核心就是神经网络的拟人化（人的大脑的原理）。这些品味的感觉是基础的，当实验与信念不一致时，有时可能因为数据本身出了bug导致的，但如果只看当下和能看到的数据等已知事物，可能就无法找到真正正确的路线。 这个研究品味不单单可以用在AI LLM研究上，不管你是创业，你是做投资，撸空投，做新产品等等，这些都是在面对高度不确定的事情。你的品味，就是你对事物基本的本质认知，或则一些事物的基本规律等等基础维度。 比如当你是一个产品经理，当你看到一个功能几乎没人用，如果以此推论，可能用户没有这个需求，你把他砍掉了，但也有可能是你的设计出了问题，用户没有注意到这个功能。当你是一个没有产品品味的人时，可能只看你能看到的局部信息来做了决策和选择。 回想很多年前，在csdn上看到深度学习的技术文章讲解的是如果通过RNN实现加减乘除的计算，当时只是觉得很神奇，但是Ilya当时的好奇心已经联想到既然能做加减乘除的预测，就应该能做其他更复杂的事情。并且他意识到神经网络基础是来自于模拟大脑的结构作为理论基础，这两个点对Ilya探索LLM的智能化研究起到了重要的基础品味的积累。 https://www.dwarkesh.com/p/ilya-sutskever-2(头雁)