Stable Diffusion应用场景大突破，重建大脑信号，直逼脑机接口！

Stable Diffusion大突破！除了画小姐姐，竟还能重建脑信号！！！

Stable Diffusion因为真人模型现世，又掀起了一波热潮，而更火爆的消息也紧随其后。

近日,日本大阪大学教授 Shinji Nishimoto 在推特发文表示自己团队发表的关于使用Stable Diffusion重现大脑信号的文章已经被CVPR（世界顶级的计算机视觉会议）接收。该教授同时也是日本脑信息通信融合研究中心的首席研究员。

作者声称，其构建的简单框架可以以高语义保真度从大脑活动中重建高分辨率图像，而无需训练或微调复杂的深度生成模型。

这项研究是基于一种扩散模型的新方法来从功能性磁共振成像（fMRI）中获得的人脑活动中重建图像。具体而言，作者采用了一个称为“Stable Diffusion”的潜在扩散模型（LDM）。该模型减少了DM的计算成本，同时保持了其高生成性能。

部分研究结果如下图：

右侧上方为展示图片，右侧下方为根据大脑接受的视觉信号重现的图片。

左侧红框为展示图片，右侧为为根据大脑接受的视觉信号重现的图片。

此外，作者通过研究LDM的不同组成部分（如图像的潜在向量Z、条件输入C和去噪U-Net的不同元素）与不同的脑功能之间的关系来表征LDM的内部机制。作者表明，我们提出的方法可以直接地重建高保真度的高分辨率图像，而无需进行任何复杂深度学习模型的额外训练和微调。

模型具体工作原理如下图：

此消息一出，顿时在网上又掀起了一场关于AIGC的大讨论。有网友说该研究直逼马斯克的脑机接口。还有网友们甚至想用他来复现梦境。

相似的早期研究

其实早在2017年，就有研究人员在《自然》杂志上发表了一项研究 "Deep image reconstruction from human brain activity"，使用Stable Diffusion来模拟视网膜上的神经元活动，从而实现了对人类看到的图像的较为粗糙的复现。该研究采用了一种称为“人脑图像数据集”（Human Connectome Project）的数据集，该数据集收集了大量人类脑中的神经元活动数据和相应的视觉刺激。

该研究的结果显示，使用Stable Diffusion可以将神经元活动数据转化为图像，从而复现了人类看到的图像的一些特征，例如边缘和纹理。然而，该方法仍然存在一些局限性，例如难以模拟更高级别的视觉处理和时间动态。

因此，虽然当下使用Stable Diffusion复现人类脑中的画面是一个有前途的研究方向。

但仍需要进一步的技术发展和研究来解决其局限性，

比如，人类大脑中的视觉系统是非常复杂的，包括多个层次的处理，从低层次的边缘检测到高层次的物体识别和场景理解。Stable Diffusion可能只能模拟其中一些过程，而无法模拟整个视觉系统。

其次，Stable Diffusion可能无法模拟人类脑中的时间动态。人类大脑中的视觉处理是一种动态过程，与时间和物体的运动密切相关。Stable Diffusion可能无法模拟这种动态性，因为它是基于静态的图像数据进行处理的。

再有，Stable Diffusion需要大量的计算资源和算法优化才能实现高效的图像处理。要使用Stable Diffusion复现人类脑中的画面可能需要更强大的计算资源和更高级的算法。

总之要使用Stable Diffusion复现人类脑中的画面是一个非常困难的挑战，依旧需要人们更深入的研究和技术发展。