动手构建大模型：深入浅出大模型.从核心原理到提示工程、微调和RAG 实战（加）路易斯·弗朗索瓦·布沙尔2025_9787115668967电子版

本书采用创新且实用的教学策略，巧妙融合理论基础与实践应用，深入剖析自然语言处理（Natural Language Processing，NLP）领域的新进展，以及大语言模型（Large Language Model，LLM）的原理。书中不仅系统阐述了?LLM?的理论基础，还通过实际项目案例展示了如何将这些模型应用于构建RAG系统。本书遵循由浅入深的路径，从LLM的基础知识入手，详细阐释了模型的训练流程，并深入探讨了如何利用提示技术与模型进行高效交互。书中还重点介绍了两个在业界得到广泛认可的框架—LlamaIndex和LangChain，它们是开发RAG应用的强大工具。书中的项目案例不仅为读者提供了宝贵的实践经验，也能够加深读者对相关概念的理解和应用。此外，书中进一步探讨了包括智能体和微调在内的高级技术，这些技术能够显著提升问答系统的性能。1.理论实践融合,采用创新教学策略，将自然语言处理和大语言模型的理论知识与实际项目案例紧密结合，助读者学以致用。
2.内容系统全面，本书涵盖从LLM基础知识、架构剖析，到提示技术、RAG、智能体、微调、部署与优化等内容，全方位覆盖LLM开发关键内容。
3.紧跟前沿技术，本书基于当下LLM发展，探讨近期新技术和应用，如热门框架LlamaIndex 和 LangChain，助读者掌握行业动态。
4.项目案例丰富，本书包含众多实际项目案例，以多种形式提供实现指南，读者可亲手运行代码，加深理解。

路易斯-弗朗索瓦·布沙尔（Louis-Fran?ois Bouchard）
Towards AI公司联合创始人兼首席技术官（CTO），网名“What's AI”。他致力于普及AI知识并解释AI技术原理，让大众能够轻松理解AI。在深切体会到初创企业与学术界之间存在的巨大技能差距后，他从蒙特利尔学习算法研究所退学，放弃继续攻读博士学位，全身心投入YouTube科普内容创作和Towards AI公司的相关工作之中。
路易·彼得斯（Louie Peters）
Towards AI公司联合创始人兼首席执行官（CEO）。他致力于开发普惠化AI职业资源，推动大众高效进入AI领域。同时，依托帝国理工学院物理学背景及摩根大通集团的投资研究经验，他尤为关注AI技术的颠覆性影响、经济效应，以及持续技术突破对现实场景应用的赋能作用。

第1章 LLM简介 1
1.1 语言模型简史 1
1.2 什么是LLM 2
1.3 LLM的组成 2
1.3.1 Transformer 2
1.3.2 语言建模 3
1.3.3 分词 3
1.3.4 嵌入 4
1.3.5 训练/微调 5
1.3.6 预测 5
1.3.7 上下文窗口 5
1.3.8 规模法则 6
1.3.9 提示词 7
1.3.10 LLM中的涌现能力及测试基准 7
1.3.11 LLM简史 9
1.3.12 项目：使用LLM（GPT-3.5 API）进行翻译 13
1.3.13 项目：通过小样本学习来控制LLM的输出 14
1.4 本章小结 16
第2章 LLM架构和概况 17
2.1 理解Transformer 17
2.1.1 论文“Attention Is All You Need” 17
2.1.2 架构实战 21
2.2 Transformer架构的设计选择 24
2.2.1 编码器-解码器架构 24
2.2.2 仅编码器架构 26
2.2.3 仅解码器架构 28
2.2.4 Transformer架构的优化技术 30
2.3 生成式预训练Transformer（GPT）架构 31
2.3.1 掩码自注意力 31
2.3.2 GPT的训练过程 31
2.3.3 MinGPT 32
2.4 LMM简介 33
2.4.1 常见架构和训练目标 33
2.4.2 开源版本的Flamingo 34
2.4.3 指令微调的LMM 35
2.4.4 探索LLaVA—一个指令微调的LMM 36
2.4.5 超越视觉和语言 36
2.5 专有模型vs.开放模型vs.开源模型 37
2.5.1 Cohere LLM 37
2.5.2 OpenAI的GPT-3.5 turbo、GPT-4o和GPT-4o mini 38
2.5.3 Anthropic的Claude 3模型 38
2.5.4 Google DeepMind的Gemini 39
2.5.5 Meta的LLaMA 2 39
2.5.6 Mistral LLM 40
2.6 LLM的应用和示例 41
2.6.1 商业与职业 41
2.6.2 法律与合规 42
2.6.3 医疗保健和健康 42
2.6.4 教育与研究 43
2.6.5 媒体与娱乐 43
2.6.6 技术与软件 43
2.6.7 个人发展与生活方式 44
2.6.8 金融与投资 45
2.6.9 运动与健康 45
2.6.10 其他 46
2.6.11 使用LLM的风险和伦理考量 46
2.7 本章小结 46
第3章 LLM实践 48
3.1 理解幻觉和偏见 48
3.1.1 通过控制输出减轻LLM的幻觉 49
3.1.2 解码方法 51
3.1.3 微调LLM 52
3.2 LLM性能评估 54
3.2.1 目标函数和评估指标 54
3.2.2 内在指标：困惑度 55
3.2.3 外部指标：基准测试 56
3.3 本章小结 58
第4章 提示技术简介 59
4.1 提示词和提示工程 59
4.2 提示技术 63
4.2.1 零样本提示 63
4.2.2 上下文学习和小样本提示 63
4.2.3 角色提示 64
4.2.4 链式提示 65
4.2.5 思维链提示 65
4.3 提示注入与安全 66
4.4 本章小结 68
第5章 RAG 70
5.1 为什么使用RAG 70
5.2 嵌入向量 71
5.3 向量数据库与向量存储 72
5.4 从头构建一个RAG管道 73
5.4.1 数据预处理 73
5.4.2 生成嵌入向量 75
5.4.3 查找相关文本块 76
5.4.4 测试余弦相似度 77
5.4.5 相似度计算实战 77
5.4.6 提示词增强 79
5.5 本章小结 82
第6章 LangChain和LlamaIndex简介 83
6.1 LLM框架 83
6.2 LangChain介绍 83
6.3 项目1：使用LangChain构建LLM驱动的应用 86
6.3.1 提示模板 86
6.3.2 摘要链示例 87
6.3.3 问答链示例 88
6.4 项目2：构建新闻文章摘要器 89
6.5 LlamaIndex介绍 94
6.5.1 数据连接器 94
6.5.2 节点 95
6.5.3 索引 96
6.5.4 查询引擎 98
6.5.5 路由器 98
6.5.6 保存和加载本地索引 99
6.6 LangChain、LlamaIndex与OpenAI Assistants 99
6.7 本章小结 101
第7章 使用LangChain进行提示 102
7.1 LangChain提示模板 102
7.2 小样本提示和样例选择器 107
7.2.1 人类与AI的信息交互 108
7.2.2 小样本提示 108
7.2.3 样例选择器 110
7.3 LangChain链 114
7.3.1 使用LLMChain生成文本 114
7.3.2 在会话链中增加记忆 115
7.3.3 使用顺序链连接链 116
7.3.4 调试链 116
7.3.5 定制链 117
7.4 项目1：使用输出解析器管理输出 118
7.5 项目2：新闻文章摘要器的改进 127
7.6 项目3：基于文本数据创建知识图谱—揭示隐藏的连接 133
7.6.1 使用LangChain构建知识图谱 134
7.6.2 知识图谱可视化 135
7.7 本章小结 137
第8章 索引、检索与数据预处理 138
8.1 LangChain的索引和检索器 138
8.2 数据摄取 141
8.2.1 从PDF中加载数据 142
8.2.2 从网页中加载数据 142
8.2.3 从Google Drive 中加载数据 144
8.3 文本切分器 144
8.3.1 基于字符长度的文本切分 145
8.3.2 基于逻辑终点的文本切分 146
8.3.3 基于NLTK的其他语种切分 148
8.3.4 基于SpaCy的其他语种切分 148
8.3.5 Markdown格式的文本切分 149
8.3.6 基于Token的文本切分 151
8.4 相似性搜索与嵌入向量 152
8.4.1 开源嵌入模型 153
8.4.2 Cohere嵌入 154
8.5 项目1：客服问答聊天机器人 156
8.5.1 工作流程 157
8.5.2 文档切分及向量化 158
8.5.3 基于策略设计提示词 159
8.5.4 基于LLM生成回答 160
8.6 项目2：基于Whisper和LangChain的YouTube视频摘要器 161
8.6.1 使用Whisper进行音频转录 163
8.6.2 切分文档并生成摘要 163
8.6.3 将转录内容添加到Deep Lake 166
8.7 项目3：为你的知识库创建语音助手 169
8.7.1 从Hugging Face Hub获取内容 170
8.7.2 加载和切分文本 171
8.7.3 嵌入向量以及Deep Lake库 172
8.7.4 创建语音助手 173
8.7.5 基于Streamlit构建交互界面 175
8.8 通过自批判链防止输出不良内容 177
8.9 在客服问答聊天机器人中防止输出不良内容 181
8.10 本章小结 185
第9章 高级RAG 187
9.1 从概念验证到产品：RAG系统的挑战 187
9.2 使用LlamaIndex的高级RAG技术 187
9.2.1 嵌入模型与LLM微调 189
9.2.2 RAG监控与评估 189
9.2.3 混合检索与嵌入向量检索 189
9.3 LlamaIndex查询 189
9.3.1 查询构建 190
9.3.2 查询扩展 190
9.3.3 查询转换 191
9.3.4 使用查询引擎来回答问题 191
9.3.5 重排序 195
9.3.6 递归检索与从小到大的检索 197
9.4 RAG指标与评估 198
9.4.1 RAG与LLM评估指标 198
9.4.2 检索评估指标 200
9.4.3 基于社区的评估工具 202
9.4.4 自定义RAG评估工作流 205
9.5 LangChain的LangSmith与LangChain Hub 210
9.6 本章小结 214
第10章 智能体 215
10.1 什么是智能体：大模型作为推理引擎 215
10.2 AutoGPT和BabyAGI概述 220
10.2.1 AutoGPT 220
10.2.2 使用AutoGPT与LangChain 221
10.2.3 BabyAGI 227
10.2.4 使用BabyAGI与LangChain 229
10.3 LangChain中的智能体仿真项目 232
10.3.1 CAMEL项目 233
10.3.2 生成式智能体 234
10.4 项目1：构建创建分析报告的智能体 235
10.5 项目2：使用LlamaIndex查询和汇总数据库 242
10.5.1 第1步：定义数据源并创建向量存储索引 242
10.5.2 第2步：配置查询引擎 244
10.5.3 第3步：开发会话智能体 245
10.5.4 第4步：为智能体添加自定义函数 246
10.6 项目3：使用OpenAI Assistants构建智能体 249
10.7 项目4：LangChain OpenGPTs 251
10.8 项目5：对PDF中的财务信息进行多模态分析 253
10.8.1 数据提取 253
10.8.2 存储在Deep Lake中 257
10.8.3 微调嵌入空间 259
10.8.4 聊天机器人实战 262
10.9 本章小结 264
第11章 微调 265
11.1 理解微调 265
11.2 LoRA 266
11.3 项目1：使用LoRA进行SFT 267
11.3.1 加载数据集 268
11.3.2 设置LoRA配置和训练超参数 270
11.3.3 合并LoRA和OPT参数 272
11.3.4 推理 274
11.4 项目2：使用SFT和LoRA进行金融情感分析 276
11.4.1 加载数据集 277
11.4.2 初始化模型和训练器 278
11.4.3 合并LoRA和OPT 280
11.4.4 推理 281
11.5 项目3：用医疗数据微调Cohere LLM 283
11.5.1 Cohere API 283
11.5.2 数据集 284
11.5.3 微调 287
11.6 RLHF 290
11.7 项目4：使用RLHF改进LLM 292
11.7.1 SFT 293
11.7.2 训练奖励模型 297
11.7.3 强化学习 300
11.7.4 推理 305
11.8 本章小结 307
第12章 部署与优化 309
12.1 模型蒸馏和教师模型 309
12.2 LLM部署优化：量化、剪枝和投机解码 312
12.2.1 模型量化 313
12.2.2 量化LLM 315
12.2.3 模型剪枝 316
12.2.4 投机解码 318
12.3 项目：使用谷歌云平台上的CPU部署量化模型 319
12.3.1 量化模型 320
12.3.2 使用量化模型进行推理 322
12.3.3 使用谷歌云平台上的计算引擎部署量化模型 323
12.4 在云服务提供商上部署开源LLM 325
12.5 本章小结 326
总结 328

丛 书 名：

• 作  者：(加)路易斯-弗朗索瓦·布沙尔,(英)路易·彼得斯 著 著 孟二利 等 译 译
• 出 版 社：人民邮电出版社
• 出版日期：2025-11-01

• 版    次：1
• 页    数：
• 字    数：499000

• 印刷时间：
• 开    本：16开
• 纸    张：330

• 印    次：1
• I S B N：
• 包    装：平装