新智元报道  

编辑：润 alan

【新智元导读】最近，Google DeepMind发布了一段小视频，据说是在向普通人展示大语言模型的工作原理。网友看后纷纷表示：懂得都懂。

Google DeepMind最近在自己的视频博客上上传了一段视频，「简单明了地」演示了大语言模型的工作原理，引发了网友的激烈讨论。

网友看了之后纷纷表示：

「终于，他们发了点普通人能看懂的东西了」。

「哦豁，这下懂了」

「对，就是这么简单！」

「太棒了，感谢感谢，这下我明白了。」

「简单明了」，「已经不能再简单了！」

当然，也有个别老实人在角落里小声地嘀咕，「像极了嘴上说着懂了懂了，实际上啥也看不懂的我。」

如果你还不确定自己真的没懂LLM的工作原理，看了这个视频之后就能确定你其实真的不懂。

果然应了那句老话，「人类的悲（ren）喜（zhi）并不相通」。

除了皇帝的新装外，也有网友尝试解释DeepMind做出这个作品的深意：

这位网友猜测了这个动画的诞生原因：「我不敢相信我们取得了什么成就，但我们不能真正把这些都拿出来......你能让实习生发表一些艺术和有趣的东西吗？」

「所以这是一个3D算盘？」

但是有人表示这个「3D算盘」是有现实依据的，毕竟熟悉神经网络的朋友可能一下就想到了矩阵：

「我完全不同意。这看起来像是神经网络架构的3D渲染。移动的方块看起来像是数据在Transformer模型或类似模型中移动时对数据的矩阵操作。

滑动矩形可以表示卷积神经网络的滑动窗口，或者可能试图表示Transformer的注意力机制，这是通过将矩阵相乘来实现的。」

当然也有人尝试给出更加专业化的解读：

如果你对机器学习模型有所了解，那么就能看懂这个动画描述得其实很到位了。简单来说就是，每一个非常小的层都负责查看一个非常小的数据。

想象图像中的一组4x4的像素。然后它向更高层发送一个信号，这个更高的层由许多这样较小的层组成，说「我认为这是一个热狗」。

它获取该信号并将其传递到更高的层，高层将每一层组合成一个统计模型。每一层都是矩阵乘法的一种形式。

最终结果是一个可以根据小数据的统计推断来预测某些内容的模型。这个过程的基本可视化过程就是视频里这样的，需要懂向量数学才能看懂。

请记住，这些是艺术家的诠释方法，而不是真正的机器学习工程师专业解释。所以他们把它做得看起来很酷，但是那些随机飘进飘出的条形并没有真正的意义。

我们来看另一位专业人士的解读：

我的猜测是，这是对图像处理神经网络内部隐藏层的描述。可能是为了分类或生成，无法真正分辨。

发生的情况是，网络中的每一层都经过多个过滤器——这些过滤器可能是在动画中围绕对象外部移动的矩形。您可以将滤镜视为对图像中的像素值进行一些转换。例如，将这9个像素值取平均值。这种变换在动画中显示为改变颜色和方向的点。

然后，在应用过滤器和转换后，结果将通过逻辑门，以查看它们是否激活。这被可视化为点突然出现和消失。神经网络中的每一层都会有许多不同的过滤器/转换/激活并行进行。然后，所有这些结果都会传递到网络的下一层。

——如此看来，小编也非常喜欢这个动画，并且已经逐渐理解了一切。

GPT-4V对视频的解释

我们把这个18秒的视频截成了10张图，喂给了GPT-4，让它给我们解释一下这个视频的含义。

你提供的图像似乎是大型语言模型（如GPT）的程式化表示。用简单的语言来说，这些图像可能试图以更具体或更容易理解的方式可视化语言模型的复杂内部运作。

在大型语言模型中，数据（例如书籍、文章、网站等中的文本）通过多层神经网络进行处理，神经网络是一种识别数据模式的数学模型。网络的每一层都会处理从前一层接收到的信息，逐渐提取更抽象的特征和关系。

这些图像似乎隐喻地代表了这个过程。立方体可以代表数据单元或token（如单词或单词的一部分），它们之间的不同颜色和连接可能象征着模型如何处理这些标记并将这些标记相互关联以理解上下文和含义。清晰的管道和结构可能说明了数据流经模型的神经网络的架构。

它就像一个复杂的工厂，原材料（数据）进来，经过各个处理阶段（神经网络层），然后产生最终产品（连贯的文本输出）。这种可视化有助于传达这样的想法：语言模型以复杂的方式组织和转换输入数据，以生成模仿人类对语言的理解的响应。

当我们要求他针对图中不同颜色的立方体进行更加细节的补充说明时，GPT-4这样说到：

图像中不同颜色的立方体可能是语言模型处理的各个数据点或token的符号表征。在语言模型的上下文中，token通常指一段文本，例如单词或单词的一部分。以下是这些立方体的颜色和排列可能代表的内容的细分：

不同的颜色：每种颜色可以代表数据的不同方面或模型正在处理的不同类型的信息。例如，蓝色立方体可能代表常见单词，而橙色立方体可能代表在给定上下文中具有更重要意义的关键字或短语。

立方体的排列：立方体的组织和连接方式可以可视化模型如何理解不同标记之间的关系。语言模型使用这些关系来理解上下文并生成连贯且适合上下文的响应。

立方体层：如果立方体以层的形式显示，则这可能代表神经网络的层。当数据通过每一层时，模型会完善其理解、调整连接并对不同标记的要性进行不同的加权。

透明结构：连接立方体的透明管或结构可能表明数据通过模型架构的路径。它们可以象征信息流以及信息如何在模型的不同部分之间共享。

值得注意的是，此类可视化是高度抽象的，旨在提供语言模型内操作的概念视图。实际过程涉及复杂的数学函数和高维数据，这些数据没有物理形式，但通常出于教育和说明目的而可视化。

既然大家都提到了矩阵乘法，我们可以来对比一下Pytorch中关于矩阵乘法的实现。

上面是一个向量点积的示意图，紧接着下面是矩阵乘法的实现。

不管像不像吧，反正移动数据点的精髓是把握住了。

Google AI可视化合集

事实上，这个让广大网友吃瓜的动画来自于下面这个网站，而且带有自己的使命。

Google的工作人员发表了对于这个项目的解释。

「代码流、发光的蓝色大脑、白色机器人和西装革履的男人，如果你在网上搜索人工智能，你会发现这些误导性的说法。

这些刻板印象会延续长期存在的偏见，从而对公众对人工智能技术的看法产生负面影响。它们还经常排除全局的视角，这种缺乏多样性会进一步放大社会不平等。

通过我们的可视化AI计划，我们委托来自世界各地的艺术家创作更多样化、更易于理解的AI表现形式。这些图像的灵感来自与我们的科学家、工程师和伦理学家的对话。

多样化我们可视化新兴技术的方式是扩大公众对人工智能今天和未来愿景的第一步。」

以下这些，也是Google DeepMind在同一个网站上发布的作品。

比如下面这个，小编是一眼就看出了其中的「深意」——这也许是在教我们扩散模型的原理？

另一个作品，看起来则像是在讲Transformer架构——先把自然语言向量化，然后注入绿色的attention模块，甚至还可以体会到大模型「涌现」的感觉。

对此，不知道大家怎么看？

参考资料：

.data_color_scheme_dark{--weui-ORANGERED: #ff6146;--weui-BG-0: #111;--weui-BG-1: #1e1e1e;--weui-BG-2: #191919;--weui-BG-3: #202020;--weui-BG-4: #404040;--weui-BG-5: #2c2c2c;--weui-FG-0: rgba(255, 255, 255, .8);--weui-FG-HALF: rgba(255, 255, 255, .6);--weui-FG-1: rgba(255, 255, 255, .5);--weui-FG-2: rgba(255, 255, 255, .3);--weui-FG-3: rgba(255, 255, 255, .1);--weui-FG-4: rgba(255, 255, 255, .15);--weui-FG-5: rgba(255, 255, 255, .1);--weui-RED: #fa5151;--weui-REDORANGE: #ff6146;--weui-ORANGE: #c87d2f;--weui-YELLOW: #cc9c00;--weui-GREEN: #74a800;--weui-LIGHTGREEN: #3eb575;--weui-BRAND: #07c160;--weui-BLUE: #10aeff;--weui-INDIGO: #1196ff;--weui-PURPLE: #8183ff;--weui-WHITE: rgba(255, 255, 255, .8);--weui-LINK: #7d90a9;--weui-TEXTGREEN: #259c5c;--weui-FG: #fff;--weui-BG: #000;--weui-TAG-TEXT-RED: rgba(250, 81, 81, .6);--weui-TAG-BACKGROUND-RED: rgba(250, 81, 81, .1);--weui-TAG-TEXT-ORANGE: rgba(250, 157, 59, .6);--weui-TAG-BACKGROUND-ORANGE: rgba(250, 157, 59, .1);--weui-TAG-TEXT-GREEN: rgba(6, 174, 86, .6);--weui-TAG-BACKGROUND-GREEN: rgba(6, 174, 86, .1);--weui-TAG-TEXT-BLUE: rgba(16, 174, 255, .6);--weui-TAG-BACKGROUND-BLUE: rgba(16, 174, 255, .1);--weui-TAG-TEXT-BLACK: rgba(255, 255, 255, .5);--weui-TAG-BACKGROUND-BLACK: rgba(255, 255, 255, .05)}.data_color_scheme_dark{--weui-BTN-ACTIVE-MASK: rgba(255, 255, 255, .1)}.data_color_scheme_dark{--weui-BTN-DEFAULT-ACTIVE-BG: rgba(255, 255, 255, .126)}.data_color_scheme_dark{--weui-DIALOG-LINE-COLOR: rgba(255, 255, 255, .1)}.data_color_scheme_dark{--weui-BG-COLOR-ACTIVE: #373737}.data_color_scheme_dark{--weui-BG-6: rgba(255, 255, 255, .1);--weui-ACTIVE-MASK: rgba(255, 255, 255, .1)}.rich_media_content{color:#000000e5;font-size:17px;font-size:var(--articleFontsize);overflow:hidden;text-align:justify}.rich_media_content{color:#ffffffa6;color:var(--weui-FG-HALF)}.rich_media_content{position:relative;z-index:0}.wxw-img{vertical-align:bottom}blockquote{padding-left:10px;border-left:3px solid #dbdbdb;color:#00000080;font-size:15px;padding-top:4px;margin:1em 0}blockquote{color:#ffffff8c;color:var(--weui-FG-1)}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]) .rich_media_meta_text,body:not([data-weui-theme=light]) .icon_appmsg_tag.default,body:not([data-weui-theme=light]) .simple_pagination,body:not([data-weui-theme=light]) .sp_page_current,body:not([data-weui-theme=light]) blockquote,body:not([data-weui-theme=light]) .blockquote_info{color:#ffffff4d}}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]) blockquote{border-color:#404040}}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]) blockquote{border-color:#404040}}.data_color_scheme_dark .rich_media_meta_text,.data_color_scheme_dark .icon_appmsg_tag.default,.data_color_scheme_dark .reward_area_win .reward_user_tips .weui-loadmore__tips a,.data_color_scheme_dark .simple_pagination,.data_color_scheme_dark .sp_page_current,.data_color_scheme_dark blockquote,.data_color_scheme_dark .blockquote_info{color:#ffffff4d}.data_color_scheme_dark blockquote{border-color:#404040}.rich_media_content p{clear:both;min-height:1em}td p{margin:0;padding:0}h1,h2,h3,h4,h5,h6{font-weight:400;font-size:16px}body,.wx-root,page{--weui-BTN-HEIGHT: 48;--weui-BTN-HEIGHT-MEDIUM: 40;--weui-BTN-HEIGHT-SMALL: 32}.wx-root,body{--weui-BTN-ACTIVE-MASK: rgba(0, 0, 0, .1)}.wx-root,body{--weui-BTN-DEFAULT-ACTIVE-BG: #e6e6e6}.wx-root,body{--weui-DIALOG-LINE-COLOR: rgba(0, 0, 0, .1)}.wx-root,body{--weui-BG-COLOR-ACTIVE: #ececec}body,.wx-root{--weui-FG-1: rgba(0, 0, 0, .55);--weui-ORANGERED: #ff6146;--weui-BG-0: #ededed;--weui-BG-1: #f7f7f7;--weui-BG-2: #fff;--weui-BG-3: #f7f7f7;--weui-BG-4: #4c4c4c;--weui-BG-5: #fff;--weui-FG-0: rgba(0, 0, 0, .9);--weui-FG-HALF: rgba(0, 0, 0, .9);--weui-FG-1: rgba(0, 0, 0, .5);--weui-FG-2: rgba(0, 0, 0, .3);--weui-FG-3: rgba(0, 0, 0, .1);--weui-FG-4: rgba(0, 0, 0, .15);--weui-FG-5: rgba(0, 0, 0, .05);--weui-RED: #fa5151;--weui-REDORANGE: #ff6146;--weui-ORANGE: #fa9d3b;--weui-YELLOW: #ffc300;--weui-GREEN: #91d300;--weui-LIGHTGREEN: #95ec69;--weui-BRAND: #07c160;--weui-BLUE: #10aeff;--weui-INDIGO: #1485ee;--weui-PURPLE: #6467f0;--weui-WHITE: #fff;--weui-LINK: #576b95;--weui-TEXTGREEN: #06ae56;--weui-FG: #000;--weui-BG: #fff;--weui-TAG-TEXT-RED: rgba(250, 81, 81, .6);--weui-TAG-BACKGROUND-RED: rgba(250, 81, 81, .1);--weui-TAG-TEXT-ORANGE: #fa9d3b;--weui-TAG-BACKGROUND-ORANGE: rgba(250, 157, 59, .1);--weui-TAG-TEXT-GREEN: #06ae56;--weui-TAG-BACKGROUND-GREEN: rgba(6, 174, 86, .1);--weui-TAG-TEXT-BLUE: #10aeff;--weui-TAG-BACKGROUND-BLUE: rgba(16, 174, 255, .1);--weui-TAG-TEXT-BLACK: rgba(0, 0, 0, .5);--weui-TAG-BACKGROUND-BLACK: rgba(0, 0, 0, .05)}body,.wx-root{--weui-BG-6: rgba(0, 0, 0, .05);--weui-ACTIVE-MASK: rgba(0, 0, 0, .05)}@media(prefers-color-scheme:dark){.wx-root:not([data-weui-theme=light]),body:not([data-weui-theme=light]){--weui-ORANGERED: #ff6146;--weui-BG-0: #111;--weui-BG-1: #1e1e1e;--weui-BG-2: #191919;--weui-BG-3: #202020;--weui-BG-4: #404040;--weui-BG-5: #2c2c2c;--weui-FG-0: rgba(255, 255, 255, .8);--weui-FG-HALF: rgba(255, 255, 255, .6);--weui-FG-1: rgba(255, 255, 255, .5);--weui-FG-2: rgba(255, 255, 255, .3);--weui-FG-3: rgba(255, 255, 255, .1);--weui-FG-4: rgba(255, 255, 255, .15);--weui-FG-5: rgba(255, 255, 255, .1);--weui-RED: #fa5151;--weui-REDORANGE: #ff6146;--weui-ORANGE: #c87d2f;--weui-YELLOW: #cc9c00;--weui-GREEN: #74a800;--weui-LIGHTGREEN: #3eb575;--weui-BRAND: #07c160;--weui-BLUE: #10aeff;--weui-INDIGO: #1196ff;--weui-PURPLE: #8183ff;--weui-WHITE: rgba(255, 255, 255, .8);--weui-LINK: #7d90a9;--weui-TEXTGREEN: #259c5c;--weui-FG: #fff;--weui-BG: #000;--weui-TAG-TEXT-RED: rgba(250, 81, 81, .6);--weui-TAG-BACKGROUND-RED: rgba(250, 81, 81, .1);--weui-TAG-TEXT-ORANGE: rgba(250, 157, 59, .6);--weui-TAG-BACKGROUND-ORANGE: rgba(250, 157, 59, .1);--weui-TAG-TEXT-GREEN: rgba(6, 174, 86, .6);--weui-TAG-BACKGROUND-GREEN: rgba(6, 174, 86, .1);--weui-TAG-TEXT-BLUE: rgba(16, 174, 255, .6);--weui-TAG-BACKGROUND-BLUE: rgba(16, 174, 255, .1);--weui-TAG-TEXT-BLACK: rgba(255, 255, 255, .5);--weui-TAG-BACKGROUND-BLACK: rgba(255, 255, 255, .05)}}@media(prefers-color-scheme:dark){.wx-root:not([data-weui-theme=light]),body:not([data-weui-theme=light]){--weui-BTN-ACTIVE-MASK: rgba(255, 255, 255, .1)}}@media(prefers-color-scheme:dark){.wx-root:not([data-weui-theme=light]),body:not([data-weui-theme=light]){--weui-BTN-DEFAULT-ACTIVE-BG: rgba(255, 255, 255, .126)}}@media(prefers-color-scheme:dark){.wx-root:not([data-weui-theme=light]),body:not([data-weui-theme=light]){--weui-DIALOG-LINE-COLOR: rgba(255, 255, 255, .1)}}@media(prefers-color-scheme:dark){.wx-root:not([data-weui-theme=light]),body:not([data-weui-theme=light]){--weui-BG-COLOR-ACTIVE: #373737}}@media(prefers-color-scheme:dark){.wx-root:not([data-weui-theme=light]),body:not([data-weui-theme=light]){--weui-BG-6: rgba(255, 255, 255, .1);--weui-ACTIVE-MASK: rgba(255, 255, 255, .1)}}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]).appmsg_skin_default.rich_media_empty_extra{background-color:#191919}}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]).my_comment_empty_data{background-color:#111}}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]) .rich_media_content img:not(.wx_img_placeholder){filter:brightness(.8)}}:root{--articleFontsize: 17px}:root{--sab: env(safe-area-inset-bottom)}:root{--wxBorderAvatarRatio: 3}:root{--discussPageGap: 16px}:root{--appmsgPageGap: 20px}*{margin:0;padding:0}.rich_media_content *{max-width:100%!important;box-sizing:border-box!important;-webkit-box-sizing:border-box!important;word-wrap:break-word!important}

div.autoTypeSetting24psection > p,div.autoTypeSetting24psection > section {margin-bottom: 24px;}