深度学习框架重要突破！鹏城实验室田永鸿教授领衔，国产AI芯片成幕后功臣
南山科技观察（公众号：southtech001）
作者 | 佳慧
编辑 | 云鹏
南山科技观察10月19日报道，近日，鹏城实验室的田永鸿教授团队关于SNN（脉冲神经网络）深度学习的开源框架成果在Science Advances刊发，论文名为“惊蜇：为脉冲智能而生的开源机器学习框架（SpikingJelly：An open-source machine learning infrastructure platform for spike-based intelligence）”。
鹏城实验室是由深圳市政府负责建设的新型科研机构，同时以哈尔滨工业大学（深圳）为依托单位，与北京大学深圳研究生院、清华大学深圳国际研究生院、深圳大学、南方科技大学等高校，深圳先进院、深圳国家超算中心等科研院所，以及华为、中兴通讯、腾讯等高科技企业共同建设。
此前，鹏城实验室曾多次在Science、Nature等顶级期刊上发表突破性研究成果，并且在今年3月，鹏城实验室牵头制定的数字视网膜系统国际标准在IEEE标准协会正式发布，该标准是全球首个端边云协同技术的国际标准。
鹏城实验室还与华为共同打造了“鹏城云脑Ⅱ”智能算力平台，基于自主可控的国产AI芯片，提供不低于1000Pops的整机AI计算能力和64PB的高速并行可扩展存储。“鹏城云脑Ⅱ”约70%的机时是对外开放共享的，服务于实验室以外的企业、高校与科研院所，已经支撑近千个国产AI模型训练任务与AI算法发布。
SNN是一种模拟生物神经系统工作原理的神经网络模型，被誉为第三代神经网络。相较于第一代神经网络，即感知器，以及第二代神经网络，即多层感知器（MLP），SNN实现了更高级的生物神经模拟水平。
SNN既是神经科学中研究大脑原理的基本工具，又具有时间建模、稀疏计算、超低功耗、大规模脑模拟等方面的特点，因此SNN在神经科学和计算机科学领域具有重要作用，备受计算科学关注。
▲“惊蜇”框架中的典型模块（图源：鹏城实验室）
在“鹏城云脑Ⅱ”的算力支撑下，新型SNN深度学习框架，即“惊蜇”框架诞生。
“惊蜇”框架相较于传统的SNN框架，具有简单易用、扩展性强、超高性能的优势，可以提供全栈式的脉冲深度学习解决方案，避免研究者进行重复劳动，方便研究有序进行。
正如开发者之一的方维所说，一个完善的框架有助于研究者顺利进行各种实验、与他人分享研究成果，并确保研究成果的可复现性。因此，“惊蜇”框架一经推出，就受到了研究者们的欢迎和广泛使用。
此次“惊蜇”作为SNN在深度学习方面的开源框架成果，登上权威科学刊物Science子刊，也许能够为更多研究人员提供新的研究思路和方向，或者吸引国际更多专家学者，以此延伸框架使用场景，促进交叉学科发展。
一、构建“惊蜇”，弥补传统SNN框架缺陷
随着深度学习方法的引入，SNN的性能得到大幅度提升，脉冲深度学习成为新兴的研究热点。
然而，由于传统SNN框架更多关注的是生物可解释性，致力于构建精细脉冲神经元，并仿真真实生物神经系统，并不支持自动微分，无法充分利用GPU的大规模并行计算能力，也缺乏对神经形态传感器和计算芯片的支持，难以用于脉冲深度学习任务。
方维也称，传统的深度学习框架并不直接支持SNN，许多研究者不得不从零开始实现所需的SNN模块，这就造成了大量的重复劳动。
在这样的情况下，鹏城实验室网络智能部田永鸿教授的团队，构建并开源了全新的SNN深度学习框架“惊蜇”，试图解决传统SNN框架面临的一系列问题。
鹏城实验室称，“惊蜇”框架具有简单易用、扩展性强、超高性能的优势，可以提供全栈式的脉冲深度学习解决方案。“惊蜇”框架支持神经形态数据处理、深度SNN的构建、替代梯度训练、ANN（人工神经网络）转换SNN、权重量化和神经形态芯片部署等功能。
现在，“惊蜇”框架作为SNN深度学习的开源框架成果在Science Advances发表论文，该论文由鹏城实验室网络智能研究部副主任、北京大学深圳研究生院信息工程学院院长田永鸿教授和中国科学院自动化所李国齐教授作为共同通讯作者撰写，鹏城实验室访问学生方维、陈彦骐为第一、第二作者。
▲“惊蜇”框架整体结构、示例代码、仿真速度、生态位以及典型应用（图源：鹏城实验室）
二、应用广泛，超123篇公开论文使用“惊蜇”进行实验
“惊蜇”作为一种新型的SNN深度学习框架，自2019年底推出就被研究者们广泛用于论文实验研究，或尖端前沿领域探索等。鹏城实验室称，“惊蜇”的开源极大促进了脉冲深度学习领域的发展。
基于“惊蜇”框架的研究工作已经有很多形成论文并出版，正逐步将SNN的应用从简单的MNIST数据集分类，扩展到人类水平的ImageNet图像分类、网络部署、事件相机数据处理等实际应用。
基于“惊蜇”框架对前沿领域的探索则包括了可校准的神经形态感知系统、神经形态忆阻器、事件驱动加速器硬件设计等领域。
目前共有超过123篇公开论文使用“惊蜇”框架进行实验，其中包括3篇ICCV、3篇IJCAI、5篇NeurIPS、4篇CVPR、4篇ICLR、3篇AAAI、2篇ICML、3篇ECCV、1篇TMLR、1篇ACM MM、1篇PR、7篇IEEE Transactions（含1篇TPAMI），以及1篇子刊Nature Communications，此外还有3篇非计算机领域的一区期刊文章。
▲“惊蜇”框架的典型用例（图源：鹏城实验室）
三、“鹏城云脑”提供算力保障，未来或达16000P水平
“惊蜇”框架的构建离不开鹏城云脑的强大算力支持，“惊蜇”框架在鹏城云脑上进行了大量性能试验和代码调试。
据鹏城实验室称，“鹏城云脑Ⅱ”基于自主可控的国产AI芯片，采用高效能计算体系结构，现在已完成主体建设。
“鹏城云脑Ⅱ”是鹏城实验室与华为联合打造的人工智能大科学装置，搭载鲲鹏、昇腾处理器的Atlas 900集群来提供充沛的算力，主要用于如计算机视觉、自然语言处理、智慧交通、智慧医疗等AI领域的基础性研究与探索。
“鹏城云脑Ⅱ”是国内首个全面自主可控的E级（即百亿亿次）智能算力平台，可提供不低于1000Pops的整机AI计算能力和64PB的高速并行可扩展存储，具备百GB级网络传输速率。这相当于24小时内能训练100亿张图像，是52万台家用电脑算力之和。
目前，“鹏城云脑Ⅱ”已经在在全球IO500总榜单连续6次取得冠军，在国际AI算力AIPerf500排行榜排行榜连续3届排名第一，获得世界Graph500 SSSP（单源最短路径）性能榜单冠军，在业界公认的MLPerftrainingv1.0基准测试中的自然语言处理赛道（256卡同等规模）排名第一，图像分类赛道（1024卡同等规模）排名第二。
华为轮值董事长胡厚崑曾称，按照规划，到2024年鹏城云脑三期的时候，规模会达到16000P的水平。可见，“鹏城云脑”这一大科学装置在“惊蜇”框架的开发过程中提供了充足的算力保障。
▲鹏城云脑（图源：鹏城云脑）
结语：16000P算力时代或将到来，新型SNN深度学习框架开发有更大算力支撑
SNN采用类似人脑的工作模式和信号传递方式，可以在处理大规模数据和复杂任务方面取得不错效果。然而，由于SNN需要更多计算资源来进行训练和推理，其发展受到算力限制。
“鹏城云脑Ⅱ”为“惊蜇”框架开发提供了不低于1000Pops的整机AI计算能力，“惊蜇”框架已经取得了不错的效果。但据胡厚崑所说，按照计划，2024年可能在鹏城云脑三期，实现16000P的算力水平。
高算力的大科学装置的出现能够让研究员们更高效地训练和优化SNN，新型的SNN深度学习框架也可能得以开发，从而在智能化时代掀起新一轮技术革命。
来源：鹏城实验室