字节对编码 (BPE) 最初是作为一种压缩文本的算法开发的，后来被OpenAI 在预训练 GPT 模型时用于分词器（Tokenizer）...【查看原文】
字节对编码 (BPE) 最初是作为一种压缩文本的算法开发的，后来被OpenAI 在预训练 GPT 模型时用于分词器（Tokenizer）
OpenAI
真忒修斯之船 2024-10-25
大家好啊，我是董董灿。 之前有小伙伴私信我，想了解下大模型比如 chatGPT 是如何进行训练的。 和他们聊了一下，发现有一个点一直在困惑着大家，那就是—— 大模型的训练是无监督学习还是有监督学习？在
ChatGPT
董董灿是个攻城狮 2024-04-10
一个幽灵，格式不正确的幽灵，在聊天模型中游荡！太长不看版现存的聊天模型使用的训练数据格式各各不同，我们需要用这些格式将对话转换为单个字符串并传给分词器。如果我们在微调或推理时使用的格式与模型训练时使用的格式不同，通常会导致严重的、无声的性能下降，因此匹配训练期间使用的格式极其重要！Hugging Face 分词器新增了 chat_template 属性，可用于保存模型训练时使用的聊天格式。此属性包含一个 Jinja 模板，可将对话历史记录格式化为正确的字符串。请参阅 技术文档，以了解有关如何在代码中编写和
Hugging Face编程
HuggingFace 2023-10-17
本文将带您在10分钟内，全面理解AI大模型的基础知识、核心技术以及其应用前景。
AI大模型
luffy 2024-12-16
本文给大家介绍下 Stable Diffusion 的一些基础概念，尽量通俗易懂！ 所谓磨刀不误砍柴工，只有把刀磨锋利了，砍起柴来才能得心应手，才能顺利的砍到所需的柴火。
Stable Diffusion
萤火架构 2023-09-11
罗永浩这一次要追AI硬件的风。
雷科技 2024-12-25
阻碍企业采用的因素，成本仅排第三
适道 2024-12-25
找到自己的力量和逻辑，应该是我们唯一的大事。
联商网 2024-12-25
易观分析：通用人工智能（AGI）之路虽充满挑战，但技术进阶从未停歇，从2024年开端，向2025年延续，人工智能的发展，将由模型开发与竞赛，转向产品为先与场景打磨的新阶段，加速AI产业落地。多元应用场景雏形初现，科技大厂占据AI应用第一梯队，夸克、剪映、豆包领跑。
易观 2024-12-25
用总量思维来看待一切
王智远 2024-12-25
先断他们的社保
真故研究室 2024-12-25
外骨骼正在走出实验室，进入普通人的生活。
果壳 2024-12-25
出海越是艰难，越要冷静应对。
DoNews 2024-12-25
去哪儿：日本将放宽中国人赴日旅游签证发放条件，飞往东京、大阪的搜索指数环比上周增长二成
夏天与你的声音💤 2024-12-25
科研红利仍在，但“摘果”方式变了
未来迹FBeauty 2024-12-25
Copyright © 2025 aigcdaily.cn 北京智识时代科技有限公司 版权所有 京ICP备2023006237号-1
