Kenny.eth|2026年03月02日 21:57
配合Claw最优化的高性价比Local LLM配置
Mac Mini M4 24GB
Qwen3-30B-A3B MoE Q4
mlx_lm ≥ 0.25.2
pip install mlx-lm --break-system-packages
mlx_lm.server --model Qwen/Qwen3-30B-A3B-MLX-4bit --port 8080
vi ~/.openclaw/openclaw.json
{
"models": {
"providers": {
"local-mlx": {
"baseUrl": "http://127.0.0.1:8080/v1",
"apiKey": "none",
"api": "openai-responses",
"models": [
{
"id": "qwen3-30b-a3b",
"name": "Qwen3-30B-A3B-4bit",
"reasoning": true,
"input": ["text"],
"cost": { "input": 0, "output": 0 },
"contextWindow": 8192,
"maxTokens": 4096
}
]
}
}
},
"agents": {
"defaults": {
"model": {
"primary": "local-mlx/qwen3-30b-a3b"
}
}
}
}
contextWindow 从 8192->16384->32768
/no_think 模式大概 30-40 token/s 的速度。
分享至:
脈絡
熱門快訊
APP下載
X
Telegram
複製鏈接