新的优化使基于 M2 的 Mac 设备能够在 18 秒内生成稳定的扩散图像。
Stable Diffusion 是一款类似于 DALL-E 的 AI 图像生成器。 用户可以输入一个文本提示,AI 会生成一幅图像,这通常比我们大多数人所能做的要好得多。
Apple 是 Stable Diffusion 项目的支持者,并于本周在其机器学习博客上发布了有关它如何提高 Mac 性能的更新。
Apple 写道:“除了根据文本提示生成图像,开发人员还发现了 Stable Diffusion 的其他创造性用途,例如图像编辑、修复、修复、超分辨率、风格转换甚至调色板生成。”
“随着 Stable Diffusion 的应用程序越来越多,确保开发人员能够有效地利用这项技术对于创建各地的创意人员都能够使用的应用程序非常重要。”
Apple 强调人们希望在本地而不是服务器上运行 Stable Diffusion 的原因有很多,包括:
保护隐私——用户数据保留在设备上。
更灵活——用户不需要互联网连接。
降低成本——用户可以消除与服务器相关的成本。
Apple 表示,它已经发布了针对 macOS 13.1 和 iOS 16.2 中稳定扩散的 Core ML 的优化,以及有助于在基于 M 的设备上开始使用的代码。
优化之后,基线 M2 Macbook Air 可以在 18 秒内使用 50 个推理步骤稳定扩散模型生成图像。 可以说更令人印象深刻的是,即使是 M1 iPad Pro 也能在 30 秒内完成这项工作。
该版本还包含一个 Python 包,用于使用扩散器和 coremltools 将稳定扩散模型从 PyTorch 转换为 Core ML,以及一个用于部署模型的 Swift 包。