苹果在生成式人工智能方面有点落后，减去了 iOS 17 中添加的一些小功能。也就是说，2024 年将成为苹果的人工智能大年。所有的目光都集中在 iOS 18 上，它应该充满了人工智能功能，包括升级的 Siri。
在此版本发布之前，苹果研究人员与加州大学圣巴巴拉分校合作推出了一个能够理解自然语言指令的开源人工智能模型。简而言之，你告诉人工智能做一些事情来改变照片，它就会这么做。
Apple 的 MGIE AI 图像编辑器是什么?
这种新的人工智能模型被命名为“MGIE”(MLLM引导图像编辑)，它接受用户的标准命令来实现三个不同的编辑目标：“Photoshop风格的修改、全局照片优化和本地编辑”。
Photoshop 风格的修改包括裁剪、旋转和更改背景等操作;全局照片优化包括调整整个图像的效果，包括图像的亮度、对比度或清晰度;而本地编辑会影响图像的特定区域，例如其形状、大小和颜色。
MGIE 主要由 MLLM(多模态大语言模型)提供支持，MLLM 是一种能够解释除文本之外的视觉和声音的 LLM。在这种情况下，MLLM 用于接收用户命令并将其解释为正确的编辑方向。MGIE 的研究论文解释了这在传统上是一项艰巨的任务，因为用户命令通常过于模糊，系统在没有额外上下文的情况下无法正确理解。(该程序认为“让披萨看起来更健康”应该意味着什么?)但研究人员表示，像 MGIE 这样的 MLLM 在这里很有效。
根据研究论文，MGIE 能够进行多种不同类型的视觉编辑。您可以要求它向水体图像添加闪电，并使水反射该闪电;删除图像背景中的物体，例如无意中的照片轰炸;将事物变成其他事物，例如将一盘甜甜圈变成披萨;加强对模糊主题的关注;除了许多其他可能性之外，还可以从原本漂亮的照片中删除文本。
您可以通过仔细阅读完整的研究论文(其中包括编辑器的实际操作示例)来了解该技术的运作方式;它可以在这里找到。
当然，这并不是人工智能在照片编辑中的第一次应用。一段时间以来，Photoshop 已经提供了大量的 AI 编辑工具，包括根据用户提示生成的工具。但 MGIE 可能是迄今为止最实现的基于命令的人工智能图像编辑器的愿景。
标签：