EXO Labs|2026年11月21日 01:38
我们与 @thinkymachines 合作,使 Inkling 2 Mini 在本地运行速度飞快:
- 在 96GB M5 Ultra Mac Studio 上,解码速度为 210 tok/秒,预填充速度为 3620 tok/秒
- 在 48GB M5 Max MacBook Pro 上,解码速度为 125 tok/秒,预填充速度为 1750 tok/秒
它构建的原生天气应用在 M5 Ultra Mac Studio 上的速度比 Claude Sonnet 5.5 快 1.8 倍,成本(API 定价)却低 11 倍。
循环架构非常适合内存受限的本地设备,例如 MacBook。模型的循环层可以在不增加模型大小的情况下提高推理时间计算能力(以及智能水平)。
分享至:
熱門快訊
APP下載
X
Telegram
複製鏈接