Stability AI，人工智能领域的领先公司，刚刚发布了其开源图像生成器的最新一代产品 Stable Diffusion 3（SD3）。该模型是迄今为止最强大的开源、无审查、可定制的文本到图像生成器。

SD3l采用免费非商业许可证发布，并可通过Hugging Face获取。它还可在 Stability AI 的 API 和应用程序中使用，包括 Stable Assistant 和 Stable Artisan。鼓励商业用户联系 Stability AI 获取许可细节。

“Stable Diffusion 3 Medium 是 Stability AI 迄今为止最先进的文本到图像开放模型，包含了 20 亿个参数，” Stability AI 在官方声明中表示，“该模型的较小尺寸使其非常适合在消费者个人电脑和笔记本电脑以及企业级 GPU 上运行。它的尺寸适中，可成为下一个文本到图像模型的标准。”

Decrypt 获得了该模型的访问权限，但 Stability 共享的 ComfyUI 工作流需要一些尚不可用的节点。通常兼容 SD1.5 和 SDXL 的工作流无法与 SD3 兼容。Reddit 上有一篇帖子解释了如何使用 StableSwarmUI 运行它。

该模型的主要特点包括逼真度、提示遵循、排版、资源效率和微调能力。它克服了手部和面部的常见伪影，无需复杂的工作流即可生成高质量图像。该模型还能理解涉及空间关系、构图元素、动作和风格的复杂提示。由于 Stability AI 的扩散变换器架构，该模型在生成文本时能够避免伪影和拼写错误。该模型能够从小数据集中吸收微妙的细节，非常适合定制。

SD3 生成样本。图片：Stability AI

该模型首次于2024 年 2 月亮相，并于2024 年 4 月通过 API 提供。

Stability AI 与 Nvidia 合作，以提升所有 Stable Diffusion 模型的性能。模型的 TensorRT 优化版本将提供最佳性能，过去的优化可使性能提高高达 50%。

Stability AI 进行了内部和外部测试，并实施了多项安全措施，以防止 SD3 Medium 被不良行为者滥用。

根据 Stability AI 的发言人，运行 SD3 的最低硬件要求范围从 5GB 到 16GB 的 GPU VRAM，具体取决于特定模型及其大小。SD3 在这个模型中使用了不同的编码技术，因此可以生成更好的图像，并更好地理解文本提示。它还能够生成文本，但需要大量的计算能力。

“对于 SD3 Medium（20亿个参数），我们建议使用 16GB 的 GPU VRAM 以获得更快的速度，但拥有较低 VRAM 的用户仍然可以以最低 5GB 的 GPU VRAM 运行它，” Stability AI 告诉 Decrypt。该公司补充说，“SD3 具有模块化结构，可以与所有 3 个文本编码器一起工作，也可以与较小版本的 3 个文本编码器或其中的子集一起工作。大部分 VRAM 用于文本编码器。还有可能在 CPU 上运行最大的文本编码器 T5-XXL。这意味着运行 SD3 20亿的最低要求介于 SD1.5 和 SDXL 的要求之间。对于微调，这也取决于您如何处理文本编码器。假设您预处理数据集，然后卸载编码器，使用相同方法的要求大约与使用相同方法的 SDXL 相同。”

Stability 补充说“不需要精化器”。这一特性简化了生成过程，并增强了模型的整体性能。SDXL 通过发布两个模型，一个接一个地运行，引入了这一特性。基础模型生成整体图像，而精化器则确保添加细节。然而，稳定扩散社区迅速放弃了精化器，并对基础模型进行了微调，使其能够独立生成详细图像。

关于当前自定义 SDXL 模型无需精化器能够生成的一些示例，我们有一个生成逼真图像的指南。

尽管围绕公司财务状况和未来存在争议，Stability 确保让我们知道这不太可能是其最后一次尝试。“Stability 正在积极改进我们的图像模型，并专注于跨视频、音频和语言的多模态工作，”发言人表示。

除了 Stable Diffusion，Stability AI 还发布了视频、文本和音频的开源模型。它还拥有其他图像生成技术，如 Stable Cascade 和 Deepfloyd IF。Stability AI 计划根据用户反馈不断改进 SD3 Medium。

“我们的目标是为 AI 生成艺术设定新标准，并使 Stable Diffusion 3 Medium 成为专业人士和业余爱好者的重要工具，” Stability AI 表示。

免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。