随着全球人口老龄化的加剧，以阿尔茨海默病为代表的认知症被认为是二十一世纪最大的健康危机之一。目前临床上还没有完全能够治愈该疾病的药物，但及早诊断和提前干预有助于延缓认知功能的衰退，而认知训练已被证实是缓解病程进展的有效手段。

近日，微软研究院与上海市精神卫生中心（俗称“600号”）携手展开联合研究，基于微软 Azure OpenAI 服务中的多模态大模型，开发了个性化认知训练框架“忆我”（ReMe），扩展了自动化认知训练的训练范围，为数字化认知训练提供了新方法，有望帮助延缓认知下降。

微软亚洲研究院副院长邱锂力告诉第一财经记者，这一想法起源于今年4月，希望尽快进入到临床阶段，针对早期的阿尔茨海默病患者。同时，微软亚洲研究院也在尝试基于可穿戴设备和无线感知技术记录日常生活中的重要节点和事件，促进更便捷的个性化个人记忆训练。

多模态大模型带来更全面的认知训练方法

认知症，也称认知障碍，是一类影响思维、记忆、注意力、理解力、判断力和语言等认知功能的疾病，包括阿尔茨海默病、帕金森病、路易体痴呆、脑血管性认知障碍等。认知症的发展是一个渐进且不可逆的过程，虽然目前临床上还没有完全能够治愈该疾病的药物，但及早诊断和提前干预有助于延缓认知功能的衰退，而认知训练已被证实是缓解病程进展的有效手段。

伴随多模态大模型的不断发展，其新能力也在不断涌现，如提供即时的多模态分析、实现基于世界知识的开放式问答、提供充满情感的语音交互、整合处理多种感知数据等。邱锂力告诉第一财经记者，微软一直都希望能够通过包括AI以及大模型等前沿技术来帮助到医疗。微软亚洲研究院的研究员们由此提出了一个设想：多模态大模型或许能在认知训练方面发挥重要作用。

由于此前与上海市精神卫生中心已经有一些项目在开展研究，微软亚洲研究院与上海市精神卫生中心老年精神科团队展开了深入探讨与合作。该科室作为上海交通大学阿尔茨海默病诊治中心，是全国最早从事阿尔茨海默研究的科室，2022年被评为国家核心高级认知障碍诊疗中心。围绕阿尔茨海默病发病机制这一课题，该科室展开了卓有成效的工作，形成了一定的研究特色。团队对于认知障碍的诊治，倡导“从不太早，永不言迟”，并创新地提出“老年认知障碍防治上海防治模式”，希望为健康老龄提供切实有用的帮助。

当前临床上的认知训练主要依靠照护者或治疗师自行开展，或使用软件驱动的数字疗法开展。前者依赖大量人力，成本高昂，给照护者带来了沉重的负担；后者则往往类似于标准化考试，缺乏灵活性，患者仅能解答预设的谜题，与提高认知所需的记忆训练相去甚远。此外，现有的数字疗法在软件应用的便捷性、互动性和直观性方面也存在一定不足，影响了患者的依从性（病人按照医生规定进行治疗的行为）。就认知障碍患者而言，持之以恒地训练对于缓解症状至关重要。

上海市精神卫生中心老年科副主任医师岳玲指出：“认知障碍影响的记忆类型多样，包括工作记忆、情景记忆和语义记忆等，但现有训练任务的设计较为单一，限制了训练内容的广度，很多老人也曾反映游戏内容‘枯燥’、‘没意思’。在多模态大模型出现之前，软件驱动的认知训练主要集中于工作记忆训练，而对于与患者日常生活密切相关的情景记忆和语义记忆训练则鲜有涉及。特别是对于阿尔茨海默病患者，最早受损的往往是与自我相关的记忆。多模态大模型的智能化和个性化特点，为认知训练提供了新的可能性，使其更贴近日常生活。”

让认知训练既通用又个性化

综合上海市精神卫生中心专家的建议与患者的需求，微软亚洲研究院的研究员们从易用性、界面友好性、功能专业性和入门难易度等多个维度出发，开发了个性化认知训练框架“忆我”（ReMe）。该工具以微软 Azure OpenAI 服务为基础模型，具备即时交互响应功能，支持文字、图像、语音等多种模态的输入输出，以对话机器人的形式为用户提供全新的认知训练体验。

在微软亚洲研究院高级研究员王子龙演示的ReMe界面中，记者看到，该界面有猜猜物品、生活回忆、绘画游戏和总结新闻等板块，从不同角度对使用者进行认知训练。

“将多模态大模型的通用能力与专业知识相结合，应用到认知训练领域，打造一个专业的领域智能体，是我们面临的一个挑战。”王子龙表示，“此前，我们已经开展了一系列研究，探索如何通过思维链（Chain of Thoughts）、检索增强生成（Retrieval Augmented Generation， RAG）等技术，使多模态大模型能够更好地整合专有领域知识，从而优化智能代理的行为逻辑和性能。这些研究确保了智能代理能够使用更新和更全面的领域知识，保持其在特定领域中发挥最前沿的能力，更好地进行交互和训练任务。”

从使用流程和功能来看，个性化认知训练框架“忆我”首先通过手机或可穿戴设备上传个人记忆内容，随后采用更贴近生活的方式，进行个体化的情景记忆或世界知识的开放性记忆训练。

以日常最为常见的进餐场景为例，一位老人在社区食堂用餐时拍下的照片，也可以成为次日的训练素材。ReMe会根据使用者的回答进行不断提示，帮助完成正确的认知和回忆。

研究员们还提供了一个训练框架，让该领域的医生等研究者可以利用内置的认知游戏模板快速创建个性化的训练游戏。除此之外，该工具还包括交互式的评估，以便追踪患者的认知水平，并根据需要调整训练任务。

不仅如此，微软亚洲研究院与上海市精神卫生中心还在不断向该训练框架扩展更多训练功能和任务，除了开放性的和个体化的训练任务外，通过语音对话的自然交互体验，也兼容并实现已被验证有效的成熟认知训练任务。例如锻炼思维灵活性的颜色识别、锻炼工作记忆的数学运算等。同时，微软亚洲研究院也在尝试基于传感器技术，通过可穿戴设备以机会感知（opportunistic sensing）的方式记录日常生活中的重要节点和事件，促进更便捷的个性化个人记忆训练。

邱锂力表示，目前研究中的难点在于用户群体是不是愿意投入时间使用AI应用。所以在设计中会希望不仅是对用户的认知做有效训练，还要给到用户一些情绪价值。“接下来我们也想尝试通过可穿戴的设备或者无线感知的技术，能借助更多的生理特性，比如心跳、呼吸，通过AI不同的模态融合的技术，更精准地了解用户的情感情况、认知情况和其他的生理情况，把这些信息全部融合起来，将可以更好地进行个性化的训练。”

释放人工智能在医疗领域的更大价值

在阿尔茨海默病患者发病前，症状还不严重，但种种征兆会提示大脑已经存在病变。在此时进行及时干预，可以减缓甚至终止阿尔茨海默病的发生发展，是治疗的黄金时期。

根据岳玲医生的介绍，美国一项研究表明，通过让受试对象参加认知速度训练、记忆力训练和理解力训练，可以降低阿尔茨海默病等痴呆症约50%的发病率。她同时提醒，认知训练有效，但要坚持一段时间才行。

“接下来，上海市精神卫生中心计划以此框架为基础，设计认知训练的新方法，开展一系列严谨的临床试验，验证这种个性化认知训练框架的有效性，以获得更多的临床证据。”岳玲医生表示。

除了认知训练，基于多模态大模型的代理干预技术未来有望应用于更广泛的领域，例如情绪调节、习惯改善以及孤独症等辅助干预。微软亚洲研究院期望该工具能够逐渐扩展应用范围，最终能够在社区和家庭环境中帮助提升认知障碍患者和其他精神疾病患者的健康水平，减轻看护人员和家属的负担。