《合集目录》
海量/完整电子版/报告下载方式:公众号《人工智能学派》
目前开源深度学习框架种类繁多,项目组前期调研的国内外开源深度学习框架。国内中科院计算所推出了人脸识别深度学习框架 Dragon,清华大学发布了计图(Jittor),华为、旷世、一流科技等互联网企业相继开源了 MindSpore、MegEngine 以及 OneFlow 等框架。在国外,早期蒙特利尔理工学院开源了 Theano、伯克利大学研发了 Caffe,日本首选网络研发了当时领先的 Chainer 框架, Google、Facebook、Amazon 等先后开源了 Tensorflow、 PyTorch、MxNet 等框架。虽然通用深度学习框架数目众多,但构建框架的核心技术正呈收敛态势。主要包括:控制流与数据流、以及操作符与张量;计算图优化与自动梯度计算;执行引擎、编程接口、部署运维及分布式训练等。
GPT-2 于 2019 年发布,被许多人认为是第 一个大型语言模型,有15亿个参数,训练 成本估计为 50000 美元。PaLM,2022 年 推出的旗舰大型语言模型之一, 拥有 5400 亿个参数,成本估计为 800 万美元——PaLM 比 GPT-2 大约 360 倍,成本高出 160 倍 。不仅仅是PaLM:总体而言,大型语言和多模态模型变得越来越大,越来越贵。
大型语言模型越来越大,价格也越来越高。GPT-2于2019年发布,被许多人认为是第一个大型语言模型,有15亿个参数,估计花费5万美元训练。PaLM是2022年推出的大型语言旗舰机型之一,拥有5400亿个参数,估计成本为800万美元。PaLM比GPT-2大360倍,成本高160倍。大型语言和多模式模型正变得越来越大,价格也越来越高。
科技赋能发展,人形机器人有望成为“具身智能”的理想载体。具身智能是指一种智能系统或机器能够通过感知和交互与环境进行实时互动的能力。随着全球高新技术尤其是 AI 领域的整体快速突破,以 ChatGPT 为代表的大模型将进一步优化对人形机器人的控制技术,为人形机器人装上“大脑”,使其顺畅地与外界交互,并增加任务理解、拆分和逻辑推理等“决策”能力,由此人形机器人有望成为“具身智能”的理想形态。
随着每天获取的信息和需要处理的事情呈数量级增长人们开始追求更高的“时间价值”一一有选择地使用自己的时间,给无意义的事件一个加速度,多任务并行的状态下能够同时快速处理各种繁杂事务。大数据、云、AI等技术的快速发展,推动被动服务向主动智能服务转变,逐步代替或协助人们处理重复事务、简化繁复工作;同时,统一ID的打通,让感官体验完全数据化,实现场景间无缝衔接。
通过对预训练的 NFNets 在 ImageNet 上进行微调,并根据预训练中使用的计算资源绘制 Top-l 错误率与计算资源的关系图。结果显示,随着计算资源的增加,ImageNet 的Top-l 准确率不断提高。其中,最消耗计算资源的预训练模型 NFNet-F7+,在预训练时需要大约 110kTPU-v4 核心小时,在微调时需要 1.6kTPU-v4 核心小时,其在 IageNet 上的 Topl准确率达到了 90.3%。此外,如果在微调过程中引入重复数据增强,还可以将 Top-l准确率提高到 90.4%。与之相比,不使用额外数据的 NFNet 在 ImageNet 上的最好 Top-l 准确率为 86.8%。
鸿蒙系统于2019年诞生,定位为解决各智能设备间互联痛点的操作系统、满足全场景需求的操作系统。自鸿蒙系统首发以来,其已搭载在电视、手机、汽车等诸多终端中。据华为数据,截至2023年7月,进入鸿蒙生态的设备数量已超过7亿台,已有220万系统应用开发者投入到鸿蒙生态的开发中。据Counterpoint数据,鸿蒙系统在中国的市场份额已经达到8%,成为Android、iOS之后的第三大手机操作系统。
数字转型的下一个阶段已经来临。我们当前使用的技术已经帮助我们达到了在之前几乎无法想象的生产力、创新和创造力水平。现在,随着实际的、日常应用的人工智能出现,可能性的视野再次扩展。企业领袖对人工智能的决策可以彻底变革工作方式,并由此带来不同的成功程度。
当前的人工智能大多是针对特定的场景应用进行训练,生成的模型难以迁移到其他应用,属于“小模型”的范畴。整个过程不仅需要大量的手工调参,还需要给机器喂养海量的标注数据,这拉低了人工智能的研发效率,且成本较高。而ChatGPT 背后的支撑是人工智能大模型。大模型通常是在无标注的大数据集上,采用自监督学习的方法进行训练。之后,在其他场景的应用中,开发者只需要对模型进行微调,或采用少量数据进行二次训练,就可以满足新应用场景的需要。这意味看,对大模型的改进可以让所有的下游小模型受益,大幅提升人工智能的适用场景和研发效率。
人工智能 (AI) 时代的发展可谓是路漫漫而修远兮。近十年来,生成式AI技术通过不断的进化演变,在“超级算力”+“海量数据”+“大模型”的范式下,能够凭借自身强大的“理解/推断”能力生成新的文本、代码、声音、图形、视频和流程。尤其当以GPT-4为代表的预处理大语言模型突然闯入人们的视野时,生成式AI终于迎来高光时刻,突破了人们对其应用的传统认知。
文生图(Text-to mage) 是基于文本通过生成A生成图像的模式。近3年时间,文生图的技术已实现大的进步,海外的Stable DifusionMidiournev已经能够提供较高质量的图像,国内的万兴科技的万兴爱画、百度的文心·一格也投入商用。文本生成图像的底层模型可以分为GAN、扩散模型、自回归模型三类。目前行业内的明星模型主要基于扩散模型。
生成式AI在PC端的应用中,首先,比较成熟的应用是商务办公领域,范例是微软的Copilot,微软已经给所有厂商基本上打了个样,它在用AI辅助办公,做办公自动化,这上面它做得比较不错,因为它利用了自身的Ofice这个已有的生态,它将Office与生成式ALA大模型做了很好的结合,这是AI在办公领域很好的一个应用。这为业界PC厂商个树立了比较好的示范。现在国内也有很多大模型的公司,PC商公司也在做类似于Copilot方向对应用,对标Copilot,通过大模型实现会议笔录、文本自动生成,同时,国内PC厂家还增加了AI工具入实时通讯工具、多语言实时翻译、会议语音提取摘要并自动发送存档等,它可将每段发言,每个人的发言可以记录下来,也可以精炼提取出来一些要点,方便一些未参会或未全程参会的人员在会后重新回顾整个会议的纪要,这其实在日常办公过程中非常方便,也非常实用,另外大大减轻了会议秘书的工作量,这是很常用的,现在各家厂商也都率先想到的一些方向。
算力是数字化转型的基础,服务器则又是算力的主要发动机。数字经济的核心在于各类 ICT 技术的落地应用,而 ICT 的相互串联则又拉动了海量数据的产生与流动。在这其中,算力重要性凸显,已成为数宇化技术发挥其效益的根本性要素。从生产端来看,算力可满足各行业的共性需求,提高生产要索使用率,实现生产力的提升:从流道端看,算力作为基础设施,支撑着大数据和智能化应用,可实现更为便捷、高效、智能的商品流道与交易。而服务器作为计算的主要载体,则又构成算力输出的源动力。
我国跨境电商出口起步于上世纪 90 年代,行业经历了从值息操合、线上交易、生志完善到规范发展的演变进程。发展之初,跨境出口 B2B 平台率先探索出信息撮合和交易服务的商业及盈利模式;随后,国内跨境出口卖家业务拓展需求激增,推动了平台与服务商市场的繁荣,帮助国内卖家快速打开国际市场,行业生态逐渐完善,发展加速;最后,随着合规与标准化体系的建立,行业也正式迈入规范发展阶段,跨境出口业务便利度得到提升,行业呈现出全方位立体化发展态势。
近年来,在我国对于新型信息基础设施建设的高度重视下,我国算力中心规模与技术水平取得了长足进步。2022年底,我 国算力总规模达到180EFlops,位居全球第二,近5年年均增速近30%,新增算力设施中智能算力占比过半。国外实时三维引擎、虚拟空间创作平台、3D沉浸式实时通信系统等方面起步早于我国。我国多采用国外研发的软件及开发工具,无法选择和控制软件的功能和安全性,面临技术支持不及时、漏洞修复不完善等问题,关键核心数据泄露风险加剧。我国需尽快提升虚拟现实软件及开发工具的开发和应用能力。
海量/完整电子版/报告下载方式:公众号《人工智能学派》