I 模型消耗大量内存。一个 270 亿参数的人工智能模型，在行业标准中被视为中等大小，需要大约 54 GB 的内存才能以半精度运行。大多数笔记本电脑无法承受。某些台式机也不能。
本周早些时候，PrismML 发布了一个大小为 3.9 GB 的模型——足够可以装在 iPhone 上。
参数是模型可以处理的拨号和调整的数量。参数越多，模型就越密集、能力越强。
Bonsai 27B 是首个突破消费智能手机内存限制的 27B 类模型，在 iPhone 17 Pro Max 上以每秒 11 个标记运行。（标记是人工智能模型可以处理和生成的信息的基本单位。）三元变体在 5.9 GB 的情况下，在 M5 Pro 笔记本电脑上达到每秒约 26 个标记。两者都在 Apache 2.0 下免费。
这种基于加州理工学院知识产权的压缩方法，将每个模型的权重从 16 位浮点精度降低到一个符号——在二进制构建中为 +1 或 -1，在三元中为三个值之一。每组 128 个权重共享一个 16 位缩放因子，使二进制变体达到每个权重 1.125 位：比全精度原始模型小 14 倍。三元模型增加了一个零状态，以稍微提高表达能力，最终为 1.71 位。
简单来说，这意味着一个三元人工智能模型仅为每个内部值使用三个设置——负、零或正——而标准人工智能则可以选择约 65,000 个设置。
PrismML 在不损失太多输出质量的情况下实现了这一点。
与传统的“低位”模型不同的是，没有任何部分可以逃避更高的精度：嵌入、注意力和完整的语言模型头都是端到端压缩的。大多数量化构建保持某些敏感层的全精度，这最终会增大其规模，以换取更好的质量。Bonsai 不玩这个游戏。
这是该家族的第二个重要发布。在三月，PrismML 发布了 Bonsai 8B，一个 1.15 GB 的模型，证明 1 位架构可以在 80 亿参数下生存而不崩溃。跳到 270 亿是风险改变的地方——这个规模是真正持续的思维链推理、可靠的工具使用和多步骤代理行为的一致出现——这些是较小模型仍在摸索的东西。
基准测试
在 15 个在 NVIDIA H100 GPU 上的思维模式基准测试中——涵盖知识、数学、编码和工具使用——三元 Bonsai 27B 的平均得分为 80.49，约为全精度模型的 94.6%。1 位变体得分为 76.11。
总体而言，在基准测试中，这些模型比 Gemma 4 或 Qwen 3.6 的表现更好，提供了更大的潜力与其规模相比。
这些模型在提供的功能方面表现相当不错，考虑到它们所需的资源较少，使小型硬件（智能手机和低端 PC）在能力上达到了一个新水平。基于美国邀请数学考试的 AIME25 和 AIME26，三元 Bonsai 27B 得分为 93.7%，而更大的 Qwen 3.6B 得分为 95.3%。Bonsai 在编码中的得分为 86 分，而 Qwen 3.6 得分为 88 分，在一般知识中得分为 77%，而 Qwen 3.6 得分为 83 分。
该模型还使用了混合注意力主干，约 75% 的层是线性的，而不是完整的二次注意力。这种架构使得在设备上实现 262K 标记的上下文窗口变得实用——标准的注意力堆栈在手机硬件上会变得极其昂贵。
我们进行了测试
我们自己运行了 Bonsai 27B。编码需要迭代：单次提示无法与云前沿模型竞争。局部和免费的特点使得这一点无关紧要。对于我们的 Zombie Type 游戏——一款第一人称打字恐怖浏览器游戏——两轮编码产生了干净的碰撞检测、正确的得分逻辑和保持完整的图形。该模型很早就掌握了结构；第二次通过进行了细化，而不是重建。
有趣的是，一些模型（如骷髅）看起来比来自 GPT 5.6 Sol 的模型更精致。这并不意味着它更好，只是说在这个任务上，它生成了一个可爱的骷髅，而人工智能之王则做出了一个较差的风格选择。
该游戏可以在 这里进行测试。
创造性写作是一个更复杂的故事，标准也更加主观。
粗略来说，如果你心中有一个零次提示，结果不是特别富有想象力。
话虽如此，Bonsai 生成的故事具有一致的内部逻辑、节奏和弧度——在低努力的可比提示下，比 Claude Haiku 或 Sonnet 更好或相当。对于一个完全在您自己的硬件上运行且没有 API 成本的模型来说，这已经是很大的成就。
它创造的故事可以在我们的 Github 仓库中找到。
PrismML 还在模型旁边提供了一层 DSpark 推测解码器——一个轻量级的草拟者，提出候选标记块，而主模型在单次前向传播中进行验证，而不是逐个生成标记。在 H100 上，这增加了 1.37 倍的吞吐量提升，而输出质量没有变化，因为验证保持了精确的输出分布。在 Apple Silicon 上尚未默认启用，但对于 GPU 服务来说，这是一个真实的增益。
苹果的兴趣增加了商业层面。PrismML 首席执行官 Babak Hassibi 向 CNBC 确认，公司正在与苹果进行初步讨论，苹果正在评估这种压缩技术在设备上的潜在应用。
Hassibi 说一个压缩的 Gemma 模型是下一个计划，随后是更大的前沿模型；1 位 Bonsai 27B 现在可以在 Apache 2.0 下免费下载。如果您需要有关如何在本地运行此类模型的入门指南，请查看 我们的指南。
免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。
