QVAC SDK将在0.9.0（将在大约10天内发布）中支持直接在设备上进行LoRA微调，让开发人员使用自己的数据自定义LLM，而无需将任何数据发送到云端。 您只需加载一个基础模型，将其指向您的训练数据集，然后重新获得一个轻量级的LoRA适配器——所有这些都在本地运行。然后，微调后的模型可以立即用于推理，而无需额外的设置。 重要原因：LoRA（低秩自适应）微调允许您针对特定用例专门化通用语言模型，例如匹配品牌的基调、掌握领域术语或遵循特定的输出格式，只需使用完整微调所需计算的一小部分。QVAC在本地处理整个工作流程：数据集准备、使用可配置超参数进行训练、检查点保存以及与生成的适配器进行无缝推理。您的数据永远不会离开设备。 开发人员体验：使用QVAC进行微调就像使用数据集和一些超参数调用“sdk.finetune（）”一样简单。培训完全在您的本地硬件上运行，生成一个紧凑的LoRA适配器文件，并支持暂停/恢复，因此您可以停止作业并重新开始，而不会丢失进度。结果直接插入QVAC的推理管道——无需模型转换，无需部署步骤，只需使用微调后的模型立即在本地完成。 http://qvac.tether.io