苹果公司与哥伦比亚大学携手，近期推出了一款名为SceneScout的人工智能导航助手，专为盲人及视力受限群体设计，旨在提升他们的日常出行体验。
这款创新系统整合了苹果地图API与基于GPT-4内核的多模态大语言模型，能够根据用户的具体需求，生成详尽且个性化的环境描述。尽管相关研究成果已在预印平台arXiv上公布，但尚未正式通过同行评审。
SceneScout的核心功能涵盖路线预览与虚拟探索两大模块。前者使用户能够在出发前预先了解行程中的道路状况，包括人行道质量、交叉口特征、附近公交站点等信息，这些信息对盲人用户来说至关重要，有助于他们更好地规划出行路线。
虚拟探索功能则允许用户根据实际需求，自由探索开放场景。例如，用户可询问系统关于“附近公园附近的安静居住区”的信息，系统便会依据请求，提供详尽的方向指引。SceneScout通过模拟行人视角解读周围景象，并以结构化的文本形式输出，支持多种长度的描述，适配多种读屏软件，确保盲人用户能够轻松阅读。
在测试阶段，SceneScout邀请了10名具有科技背景的视障用户进行体验。测试结果显示，AI生成的描述中，有72%被认为是准确的。用户对于虚拟探索功能的反馈尤为积极，认为这一创新方式有效替代了传统信息获取手段，极大地便利了他们的日常出行。
