当前位置:首页|资讯|AIGC

AIGC名词解释:Token 词元

作者:新设技发布时间:2023-10-28

原标题:AIGC名词解释:Token 词元

用设计师能理解的语言

来解释AIGC中的技术名词

AIGC 属于跨学科的产物,涉及领域众多,包括高等数学、统计学、计算机图形图像学、机器学习等各个领域。AIGC 设计软件的界面上往往会涉及到许多这些领域的技术术语。要想搞清楚它们背后的知识体系需要展开的知识树体量十分庞大繁杂。术业有专攻,我们无法全面俱到地在每一个领域都做到精通,但又需要了解到一定的程度,以便更好地使用 AIGC 的相关软件。所以,我们将尽量以设计行业从业者能理解的语言来解释那些经常遇到无法绕开的技术术语。

Token 词元

机器读懂词汇和语句是通过 Token 来进行的。尽管 Token 在许多领域都有应用,并且被翻译成代币、象征、标志、表示、信物、标记等意思。但是在人工智能 AIGC 领域,通常是指“词元”,它是语言类模型的最小数据单位。在提示词文本发送给神经网络之前,Tokenizer 将组合词、句子、段落、文章这类型的长文本分解为最小单位的 Token 词元,并且用向量来表示数据结构,输入给神经网络,形成神经网络阅读和理解文本的方式。

所谓最小单位的“词元”,或者说单词的“片段”,就是不可再拆分的最小语义单位,比如 “waterfall”,会被拆成2个 token:water、fall。另外,标点符号也会被分解为 token,因为标点符号也影响了对全文的语义理解。比如“I don‘t know.”可以分解为5个Token,他们是:“ I ”、“don”、“ ‘t” 、“know”、“.”。

因此,在 Stable Diffusion 中默认的提示词输入最大量为不超过75个,这里的75指的是Token 数,这并不意味着是75个单词。所以,经常会发生你输入的单词数字没有到达75个时,Token 就已经超过75个了。因为标点符号、复合词等等都会被解读为 Token(当然,现在无需担心在提示词输入框中输入超过75个 Token 的问题,因为它可以通过分段输入的方式来进行)。

Stable Diffusion WebUI 限定75个 Token 的提示词输入框

大家可以通过 AUTOMATIC1111 提供的 SD-WebUI 标准扩展插件 tokenizer 来查看,建议安装。(https://github.com/AUTOMATIC1111/stable-diffusion-webui-tokenizer),这个扩展插件可以直接在 Extensions 标签下搜索安装。

AIGC基础知识

专业名词解析

Stable Diffusion从入门到精通到实战

专栏内容简介

从AIGC的基础概念介绍开始,以“喂饭级”的语言,逐一详细介绍 Stable Diffusion WebUI 的各个参数与设置,配合详细的图文素材,并用大量实战案例来解读 Stable Diffusion 在目前各设计领域中的应用。

通过这个专栏,你会得到

  1. AIGC的基础概念、扎实的基础知识;

  2. AIGC图像设计创作领域目前最重要的阵地——Stable Diffusion 的相关基础知识、专业术语;

  3. Stable Diffusion WebUI 软件中每一个参数详细功能介绍,原理,对应AI生图的结果;

  4. Stable Diffusion WebUI 的具体使用方法和技巧,各种模型介绍、周边配套插件与软件的使用方法和技巧;

  5. Stable Diffusion WebUI 在实际设计产业中的应用、实战解析;

  6. Stable Diffusion 的提示词库、参数库等;

  7. 购买全套课程的学员,享受半年免费 SD-WebUI(高性能GPU)线上使用权限,使用期限内无限出图、高速出图。

订阅须知

  1. 《Stable Diffusion从入门到精通到实战》为图文/视频专栏,不少于 20 期,每周五 21:00 点更新;

  2. 20 期更新结束后,专栏内容会根据 AIGC 领域的最新动态、Stable Diffusion 的不断迭代而产生新内容,这些与时俱进的新内容无需额外付费;

  3. 添加一对一辅导员,及时收到通知更新内容,一对一解答疑难问题;

  4. 本专栏为虚拟内容服务,购买成功后不支持退款,请理解。

加辅导员微信咨询

了解更详细课程信息

一对一解答疑难问题

Stable Diffusion WebUI

从入门到精通再到实战

完全喂饭级,细致到每一个参数

“设计小白”都能看懂

有设计基础的朋友更会得到启发

抓住人工智能工业革命带来的新机遇

辅导员微信:cyxq2019

↑ 长按上方二维码图 ↑

在弹出菜单中选择“打开对方的名片”

加辅导员微信,咨询课程


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1