文章解析了大语言模型从分词到文本生成的完整技术链路，详细介绍了Tokenization机制、人类与机器语言表示差异，以及神经网络应用、规模化力量等核心技术优势。同时展望了模型在知识管理、智能对话等领域的应用前景，并指出技术局限性与使用建议，帮助读者全面理解大模型工作原理和应用价值。
How Large Language Models Work: From Tokenization to Generation
摘要
本书深入解析大语言模型的工作原理,从分词机制到文本生成的完整技术链路,揭示ChatGPT等生成式AI背后的核心技术架构。
一、引言:生成式AI的技术革命
在人工智能领域,以ChatGPT为代表的大型语言模型(Large Language Models, LLMs)正在引发一场技术革命。从OpenAI的GPT系列,到Google的Gemini、微软的Copilot、Meta的Llama、Anthropic的Claude,以及新兴的DeepSeek,生成式AI产品如雨后春笋般涌现。这些技术的核心是GPT(Generative Pretrained Transformer,生成式预训练变换器),它代表了当前AI技术的最高水平。
生成式AI的本质是能够基于观察到的历史数据创造或生成各种媒体内容(如文本、图像、音频和视频)的软件系统。例如,当ChatGPT收到"写一首关于松树落雪的俳句"的提示时,它会利用训练数据中关于俳句、雪、松树和其他诗歌形式的所有信息来生成一首全新的俳句。这些系统本质上是能够生成新输出的机器学习模型,因此"生成式AI"是一个恰当的描述。
从更深层次来看,ChatGPT处理的是人类文本,因此它也可以被称为语言模型(language model)——这是自然语言处理(Natural Language Processing, NLP)领域的核心概念。NLP领域横跨计算机科学和语言学,探索帮助计算机理解、操作和创造人类语言的技术。该领域最早的努力可以追溯到20世纪40年代,当时研究人员希望构建能够在不同语言之间自动翻译的机器。
那么,是什么让新一代生成式AI工具与众不同?最显著的差异在于ChatGPT和类似算法的规模远超历史上人们构建的模型,并且它们是在更大量的数据上训练的。正因如此,“大型语言模型”(Large Language Models, LLMs)这个名称变得非常流行,用于描述GPT和类似类型的机器学习模型。
二、大语言模型的技术架构概览
2.1 从输入到输出的完整流程
大语言模型的工作流程可以分解为七个关键步骤,如图1所示:
文本到分词的映射
:将输入文本转换为token(词元)
词嵌入
:将token映射到嵌入空间
位置编码
:为每个嵌入添加位置信息,捕捉token在输入文本中的位置
Transformer层处理
:数据通过Transformer层(重复L次)
反嵌入层
:应用反嵌入层获取可能的响应token
采样生成
:从可能的token列表中采样生成单个响应
解码
:将响应中的token解码为实际文本
这个流程揭示了大语言模型的核心工作机制:通过多层神经网络处理,将输入文本转换为数值表示,经过复杂的计算后,再将结果转换回人类可读的文本。
2.2 技术层次关系
ChatGPT、Copilot、Claude和Gemini等产品都是基于LLMs构建的,通过文本进行操作。LLMs使用来自AI和NLP的技术。LLM的主要组成部分是Transformer,这是一种特殊的神经网络架构。
这些关系可以概括为:
产品层
:ChatGPT、Copilot、Claude、Gemini等AI聊天机器人
技术层
:大型语言模型(LLMs)
算法层
:Transformer架构、神经网络
基础层
:自然语言处理(NLP)、人工智能(AI)
三、分词机制:大语言模型如何"看见"世界
3.1 Token:语言的最小单元
在AI领域,经常使用类比人类学习的方式来解释机器如何"学习"。人类阅读和理解句子是一个复杂的过程,随着年龄增长而变化,涉及多个顺序和并发的认知过程。然而,大语言模型使用的过程比人类认知过程简单得多。它们采用基于神经网络的算法来捕捉大量数据中单词之间的关系,然后使用这些关系信息来解释和生成句子。
LLMs必须将文本句子转换为数值表示才能进行处理,因为神经网络算法从根本上使用数字来完成工作。如图2所示,LLMs使用的算法必须在处理之前将人类文本转换为数值表示。Token(词元)是LLMs用来将文本分解为可编码为数字的片段的表示。
你可以将token视为LLM处理的最小文本单元——如果用类比来说,就是"原子",所有其他事物都由此构建的最小部分。那么,文本的原子是什么?有两个自然的答案:字母和单词。虽然很容易将字母定义为原子(因为单词由字母组成),但在实际阅读过程中,大多数人并不会有意识地阅读每个单词中的每个字母。人们会关注更显著的单词和单词部分。
3.2 子词表示的优势
GPT-3(最初为ChatGPT提供动力的LLM)拥有50,257个token的词汇表。这些token不是完整的单词,而是称为子词(subwords)的单词部分,这种表示介于单词和字母之间。直观地说,token捕捉了语言的最小有意义的语义单元。
例如:
- 单词"schoolhouse"(校舍)通常会被分解为两个token:“school”(学校)和"house"(房子)
- 单词"thoughtful"(深思熟虑的)被分解为"thought"(思考)和"ful"(表示充满…的后缀)
这种方法对于识别常见单词和拥有子词来解释我们以前从未见过的新单词非常有用。人们经常使用类似的技术,称为语义分解,来理解他们以前从未见过的单词。我们直观地将新单词分解为组成部分,以便根据我们已经理解的单词来掌握它们的含义。
3.3 分词过程的关键步骤
特征工程(Feature Engineering)是将数据转换为更适合算法和要解决的任务的形式的过程。分词是LLMs的特征工程;它至关重要,因为token是模型交互的唯一信息。Token被视为独立的、抽象的事物,它们之间没有固有的联系。这些关系是通过对数据的观察来学习的。
例如,表示"Dis"的token和表示"dis"的token是相关的,唯一的区别是一个以大写字母"D"开头。然而,模型为"Dis"分配标识符4944,为"dis"分配标识符834。也就是说,模型本身看不到表示"Dis"和"dis"的token之间的任何联系,即使我们作为人类看到了明显的联系。模型甚至看不到"Dis"或"dis"。为了让LLM处理token,我们必须将这些token转换为数字,这样模型将看到数字4944和834。
Token是从子词到唯一数值表示的映射。反过来,分词(tokenization)是将完整文本字符串转换为token序列的过程。如果你以前使用过机器学习库(特别是任何自然语言处理工具),你可能熟悉一些更简单的分词形式。例如,一个简单的分词过程通过基于空格拆分文本来将文本分解为token。然而,这种方法限制了我们创建子词或处理不使用空格分隔单词的语言(如中文)的能力。
四、人类与机器的语言表示差异
4.1 语言表示的本质
语言表示意味着什么?我们人类在出生后不久就开始通过与他人和周围世界的互动隐式地学习如何表示语言。我们通过正规教育来发展对组成部分、底层结构和支配语言及其使用的规则的理解。我们对语言的内部表示已经被广泛研究。虽然一些语言规律已被发现,但许多仍在争论中。ChatGPT的内部语言表示基于这些知识的一部分。
它是使用人工神经网络(artificial neural networks)的概念实现的,也称为深度学习。这些是数据结构和算法的组合,其模式松散地模仿人类大脑结构。然而,我们对大脑工作方式的理解是不完整的。虽然支持LLMs的神经网络只是人类大脑结构的简化,但它们的力量在于能够以有用的方式捕获和编码语言,以生成语言并与人们互动。
4.2 静态学习与动态交互的区别
这里需要理解的关键细节是,作为人类,你对语言有与生俱来的理解,这是你随着时间学习的。你对语言的学习和使用是交互式的。通过进化,我们似乎都有相对一致的学习和相互交流的方式。(要了解更多关于这个概念,可以研究语言学家诺姆·乔姆斯基提出的普遍语法理论。)
与人类不同,LLMs的语言表示是通过静态过程学习的。当你与Claude或ChatGPT进行对话时,它机械地参与与你的对话,尽管它以前从未参与过对话。LLM学习的语言表示可以是高质量的,但它不是无错误的。它是可操纵的,我们可以以特定方式改变LLMs的行为,以限制它们所意识到的或它们产生的内容。
理解LLMs使用从示例中推断的关系来表示语言,有助于我们保持现实的期望。如果你要使用LLM,如果它错了有多危险?你如何利用语言表示来构建产品或避免不良结果?这些是我们将在整个讨论中涉及的一些高级关注点。
五、大语言模型的核心技术优势
5.1 神经网络的应用价值
大脑结构的抽象已被证明在许多领域都很有用。神经网络在语言、视觉、学习和模式识别方面展示了令人难以置信的进步。神经机器学习算法的进步、数字数据的极度扩散以及计算机硬件(如GPU)的爆炸式增长的融合,导致了今天使ChatGPT成为可能的进步。
5.2 规模化的力量
与历史上的语言模型相比,现代LLMs的最显著特征是它们的规模。它们在更大量的数据上训练,拥有更多的参数,能够捕捉更复杂的语言模式和关系。这种规模化不仅提高了模型的性能,也使其能够处理更广泛的任务和领域。
5.3 生成能力的多样性
生成式AI可以处理多种输入和输出组合,如图所示:
可能的输入类型:
- 图像
- 蛋白质序列
- 问题(如"非洲燕子的空速是多少?")
- 基因序列
- 数学表达式
- 文章
可能的输出类型:
- 答案(如"24英里/小时或11米/秒")
- 文章扩展(如"《巨蟒与圣杯》是一部电影杰作,以其…而闻名")
- 图像生成
- 数据分析结果
任何输入或输出选项的组合都是可能的,输出的性质取决于算法的训练目标。它可以是添加细节、将某些内容改写得更短、推断缺失部分等。
六、应用前景与实际价值
6.1 企业知识管理
大语言模型为企业构建智能知识管理系统提供了强大工具。通过理解和生成自然语言,LLMs能够帮助企业更好地组织、检索和利用内部知识资源,提高工作效率。
6.2 智能对话系统
从客户服务到虚拟助手,LLMs正在重塑人机交互的方式。这些系统能够理解复杂的用户意图,提供准确、个性化的响应,显著提升用户体验。
6.3 内容创作与编辑
在内容创作领域,LLMs能够辅助写作、编辑、翻译等任务,帮助创作者提高生产力,同时保持内容质量。
6.4 代码生成与开发辅助
LLMs在软件开发领域的应用也日益广泛,从代码自动补全到bug修复,再到技术文档生成,都展现出巨大潜力。
七、技术局限性与使用建议
7.1 理解模型的边界
尽管LLMs功能强大,但重要的是要认识到它们的局限性。模型的语言表示质量可能很高,但并非无错误。它基于从示例中推断的关系,这意味着在某些情况下可能会产生不准确或不恰当的输出。
7.2 风险评估与控制
在使用LLM时,需要考虑:如果模型出错有多危险?如何利用语言表示来构建产品或避免不良结果?这些高级关注点对于负责任地使用这项技术至关重要。
7.3 持续学习与优化
随着技术的不断发展,从业者需要持续关注最新的研究进展,了解模型的改进方向,以便更好地应用这项技术。
八、未来展望
大语言模型技术正处于快速发展阶段。从更大规模的模型训练,到更高效的推理算法,再到多模态能力的增强,未来的LLMs将更加强大、高效和可靠。同时,关于AI安全、伦理和监管的讨论也将持续深入,确保这项技术的健康发展。
理解LLMs的工作原理不仅有助于我们更好地使用这项技术,也为我们提供了批判性思考其应用场景和潜在影响的基础。无论是作为用户、软件开发人员,还是商业决策者,掌握这些核心知识都将使我们成为更有效的技术消费者和创新者。
最后
我在一线科技企业深耕十二载，见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。
我整理出这套 AI 大模型突围资料包：
- ✅AI大模型学习路线图
- ✅Agent行业报告
- ✅100集大模型视频教程
- ✅大模型书籍PDF
- ✅DeepSeek教程
- ✅AI产品经理入门资料
完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
为什么说现在普通人就业/升职加薪的首选是AI大模型？
人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。
智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200%，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。
AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。
资料包有什么？
①从入门到精通的全套视频教程⑤⑥
包含提示词工程、RAG、Agent等技术点
② AI大模型学习路线图（还有视频解说）
全过程AI大模型学习路线
③学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
④各大厂大模型面试题目详解
⑤ 这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势，构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**
