认识Qwable:免费的本地模型,像Claude Fable一样思考

CN
Decrypt
关注
1小时前

安索普上周为 Fable 5 的 看不见的保护措施道歉,随后美国政府因有争议的越狱发现下令撤回该模型对所有外国国籍者的使用。


几天后,Hugging Face 上的一位开发者上传了一个使用 Fable 推理来指导本地模型的模型——现在即使是你的土豆电脑也可以运行一个更好的模型。


这个模型叫做 Qwable——Qwen + Fable,如果这个合成词不太明显的话。它是对阿里巴巴的 Qwen3.6-27B 基础模型的完全微调,由开发者 Mia(Hugging Face 上的 Mia-AiLab)在一个 Fable 5 风格推理示例的数据集上构建。目标是一个 270 亿参数的模型,可以在消费级硬件上运行,并以 Fable 5 的思维方式进行思考。(参数决定了模型的知识广度,更多通常意味着更强大的能力。)



该技术称为在追踪风格示例上的指令微调。这是一个技术性表述,意味着开发者收集了格式类似于 Fable 5 的刻意逐步答案的示例,并训练 Qwen 以生成相同类型的输出。


所以可以把它看作是更少的“抄袭考试”,而更多的是“学习学习习惯”。一个 类似的方法推动了 Qwopus——Claude Opus 4.6 的本地蒸馏——尽管该项目专注于思维链推理。Qwable 针对 Fable 5 的整体指令遵循结构:比基础 Qwen 模型更加引导性、更加解释性,更加侧重于逐步完成任务。





它以 GGUF 格式运行——这种压缩的、消费者友好的文件类型与 LM Studio 或 llama.cpp 配合使用——在其 Q4 量化构建中大约占 16.5 GB。它不会发送任何数据到安索普的服务器,这一点很重要,因为 Fable 5 要求对所有流量进行强制 30 天的数据保留,即使是以前没有保留协议的企业客户。即使是当前的模型也使用第三方服务器来处理你的信息和提示。


然后,在 Qwable 出现在 Hugging Face 后不久,其他人也来了,让它变得更好。


没有良知的 Qwable


Qwable 是一个受到审查的模型。毕竟,Qwen 和 Claude 也是如此。但 Qwen 作为基础模型是开源的,可以被操控和调整。


Huihui-ai,一位以无审查版本 GGUF 发布而闻名的开源贡献者,拿下了 Qwable,并应用了称为消融的过程来生成 Huihui-Qwable-3.6-27b-消融版。它生成了一个像 Fable 一样思考但不会拒绝回应你提示的模型,无论这些提示多么奇怪或危险。


这不是越狱。它是手术。


每个微调的 AI 模型都在其权重中嵌入了拒绝方向——这是一个数学信号,在模型的内部激活中,当它检测到一个已被训练拒绝的请求时会触发。消融通过在大量有害和无害提示上运行模型,识别该信号,测量内部数学在这两者之间的差异,然后修改模型权重以消除这种差异。


经过该过程后,模型根本没有拒绝机制。因此,经过“脑叶切除”的模型仍然完全功能正常,只是没有激活“我不应该这么做”答案的神经元。




我们用我们的一个 常规测试 试了一下,而不是拒绝,模型开始将问题切分成不同的领域,并对如何在女友和她最好的朋友之间作弊提供了正确的建议。




Huihui-ai 将该技术直接应用于 Qwable GGUF,使用了 llama.cpp 的 cvector-generator——无需 Python 环境,无需全量权重再训练,无需租用服务器。


为什么有人会想要这个?


标准 Qwable 适用于编码协助、技术调试以及任何希望模型阐述其推理而不仅仅是生成答案的工作流。它被设计用于本地代理设置,并在大多数本地运行时中运行。如果你已经在使用 LM Studio,那就只需搜索并下载。


消融版本的受众较窄:需要原始模型行为而不进行提供方过滤的安全研究人员、需要在敏感话题上输出的合成数据管道,以及在测试模型能力时不混入内容政策的评估工作。


一个不那么技术性的案例?暂且不谈拥有一个像 Claude Fable 一样思考的 NSFW AI Waifu 的常规用例,这是一个显而易见的场景。想象一下你希望模型为你的龙与地下城 (Dungeons & Dragons) 活动撰写一个道德模糊的反派独白,而标准模型不断打断,指出角色的世界观“引发了值得探讨的伦理问题。”消融版本只写反派。此外,由于它在本地运行,美国政府无法在半夜因有争议的越狱发现从你的机器上紧急撤走它。


当然,还有更多值得怀疑的用例。我们不赞成这些,也不会给你任何想法。


Huihui-ai 的模型卡非常明确:这仅用于研究和受控环境。降低的安全过滤意味着输出可能是敏感的、有争议的或不适当的,法律和道德责任完全由用户承担。


消融版 Qwable 现在已在 Hugging Face 提供三种版本。推荐的 Q4_K_M_Q8 版本 大约为 19 GB,是最小、最面向消费者的选项。


如果你的计算机支持,还有一个 版本 支持多令牌预测,这将让它的响应速度更快,更快。


免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接