深大“臆想多媒体”研究或让神奇“读心术”变为可能

原标题：神奇“读心术”或将成现实

深大“臆想多媒体”研究如何读懂他人脑中思考的事情

见圳客户端·深圳新闻网2021年1月14日讯（深圳商报讯首席记者 吴吉）不用说话就可以读懂别人脑海中思考的事情，这一神奇的“读心术”很可能将变为现实。近日，深圳大学未来媒体技术与计算研究所国家特聘专家江健民教授团队开创了一种崭新的脑臆想多媒体研究方向。该团队在全球首次引入“臆想多媒体”的概念和形式，将使传统的多媒体能够呈现人脑内部的臆想，包括人们对未来的憧憬，对过去的回忆，以及对人生的感悟等。

据悉，目前的脑科学研究主要采用定向脑激励模式，来完成对人脑相关反应的分析。2015年，美国斯坦福大学的科研团队在全球率先使用目标图像直接激励人脑的方法，突破了传统的脑科学研究，完成包含6个类别的脑电图像自动分类研究并取得40.68%的准确率。2017年，美国佛罗里达大学的科研团队在此基础上直接从ImageNet图像库内提取40个类别的图像，用来激励人脑产生相应的脑电信号（EEG），并向全球发布了第一个脑电图像库ImageNet-EEG。同年，在计算机视觉及人工智能的顶级学术会议CVPR2017上，该团队报告了他们的研究成果，即：采用深度学习的手段，对40个类别的图像脑激励取得了高达82.9%的分类准确率。2018年，美国康奈尔大学的科研团队对此数据库的产生方法提出了质疑。目前，双方的争议还在继续。

2019年，深圳大学江健民教授团队通过在图像库内的预选图像提取伪脑电信息及其映射的方法，提出一种双模态深度学习框架，将分类的准确率提高到94.1%。之后，又利用人脑不同区域对不同激励信息存在敏感差异的特色，提出一种新型LSTM深度学习方法，将脑图像感知分类进一步提高到98.4%。这意味着，一个人在世界的任一地方看一幅图像，只要将其看这幅图像时的脑信号传到深圳，深圳大学的科研人员就能够以高达98.4%的概率知道他（她）针对这幅图像的脑思维活动，并对其内容做具体的可视化呈现。

针对人脑思维的不确定性及其脑电信息采集的不稳定性，深圳大学科研团队进一步提出了具有脑特色的深度学习研究，并结合传统的深度学习理论和方法取得了一系列的初步成果。包括能够突破目前深度学习需要大量带标签训练数据瓶颈的跨域学习方法、图像视频内的显著性检测以及新的三维场景重构模型等。

业界认为，这项研究为实现真正的“读心术”走出了基于计算机技术的第一步。相关成果近日发表在多媒体领域国际顶级杂志IEEE Transaction on Multimedia上。以深圳大学为唯一依托单位的“臆想多媒体的深度分析与可视呈现”项目日前获得国家基金委信息学部重点项目资助，从2021年至2025年，该团队将进一步进入脑认知语义识别的科学研究。