YC投资的创始人Paul Graham @paulg 最近说过一个关于创业和LLM大模型的话题，原文是 “有人问我，如果我17岁，我会做什么。我会学习如何从零开始构建大型语言模型，然后用我能接触到的任何硬件，训练出尽可能强大的模型。” 如果你还年轻（如果你不在年轻，也不要掉队🤣），也可以试着多学点大模型相关的知识。我这里分享下自己自己研究到的几个好的资料： https://github.com/jingyaogong/minimind 小模型学习和实践好的项目，此开源项目旨在完全从 0 开始，仅用 3 块钱成本与 2 小时训练时间，即可训练出规模约为 64M 的超小语言模型 MiniMind。 https://github.com/arman-bd/guppylm 这个项目的目的是证明，训练自己的语言模型并非难事。 无需博士学位，也无需庞大的GPU集群。只需一个Colab notebook，五分钟，你就能从零开始构建一个可运行的语言模型——包括数据生成、分词器、模型架构、训练循环和推理。只要你会运行 notebook，就能训练语言模型。 https://alisawuffles.notion.site/alisa-s-book-of-llms 一个华人女孩Alisa Liu，她成功入职openai，她把在求职过程中把面试准备笔记公开了，包括这份 LLM 笔记以及另一份数学面试笔记。很多人觉得这些笔记写得很扎实，覆盖了从 Transformer、RL（如 GRPO）到系统扩展等内容