苹果推出新API 为Siri屏幕感知功能做好准备
11月5日，据报道，苹果公司正在为其虚拟助手Siri带来一项重大升级。作为Apple Intelligence功能集的一部分，苹果正开发更先进的Siri功能，以便能更智能地处理用户请求。此次更新包括了一项新API，它允许应用程序将屏幕内容提供给Siri和Apple Intelligence，以增强对屏幕内容的理解和交互能力。
在最新的iOS 18.2测试版中，苹果推出了名为“App Intent API”的新工具，允许开发者将应用中的屏幕内容提供给Siri。这意味着，用户可以向Siri提问有关屏幕上内容的问题或请求进行操作，Siri将能够基于这些信息执行相关任务。例如，用户可以对Siri说：“嘿Siri，这份文件是关于什么的？”Siri会识别文件内容并给出简短的摘要。
苹果的文档指出，当用户明确请求时，Siri和Apple Intelligence甚至能够将内容发送到支持的第三方服务。例如，用户在浏览网页时，可以通过Siri询问页面的关键信息，而Siri则会返回一个简洁的概述。对于涉及照片或文档（如PDF或演示文稿）的情况，Siri将能够通过ChatGPT进行集成，提供基于图像或文档内容的智能反馈。
随着iOS 18.2的更新，Siri与ChatGPT的集成显著增强了语音助手的智能化程度。用户可以询问关于照片或文档的详细信息。例如，用户可能会对Siri说：“这张照片里有什么？”Siri将截取屏幕截图，并将其交给ChatGPT，后者会分析图像内容并将信息反馈给用户。同样的功能也适用于PDF文件或其他文档，用户可以问Siri诸如“这份PDF讲了些什么？”这样的问题，Siri会处理并给出详细解释。
尽管iOS 18.2已为Siri引入了ChatGPT的集成功能，苹果还计划在未来版本中推出更多的智能助手功能。屏幕感知是苹果正在开发的一项重要功能，它将使Siri能够理解屏幕上的内容并执行相应的操作。例如，当用户收到一个地址信息时，Siri将能够识别该地址并将其添加到联系人卡片中。尽管这一功能目前尚不可用，但它预计将在iOS 18.4版本中推出，并预计于2025年春季发布。
马克·古尔曼（Mark Gurman）曾表示，苹果计划将这些先进功能在iOS 18中逐步推出，给开发者几个月的准备时间，以确保他们可以为这些新功能做好准备。
