推理引擎WASTE开源：把Kimi K3完整跑进64GB MacBook

边缘数据库公司 SQLite AI 开源推理引擎 WASTE。它让保留全部层和专家的 Kimi K3，能在一台 64GB MacBook Pro 上运行。转换后的模型约占 1TB，速度为每秒 0.49 至 0.54 个 Token。WASTE 把约 27GB 的模型主干留在内存。8 万多个专家放在内置 SSD。每生成一个 Token，只从硬盘读取当前调用的专家。这个版本没有蒸馏、裁剪或删除专家。但专家权重被重新量化到 3-bit，模型主干采用 4-bit 和 8-bit。[原文链接](动察 Beating)