简介
本课程是一套全面系统的自然语言处理（NLP）零基础入门到实战教程，共计187集，覆盖从文本表示、分词、词向量、传统序列模型（RNN/LSTM/GRU）、Seq2Seq、Attention机制、Transformer架构，到预训练模型（BERT、GPT、T5）以及HuggingFace（HF）工具库的完整使用。课程以“零基础”为起点，从环境搭建、中文/英文分词、Word2Vec词向量训练与应用讲起，逐步深入到RNN/LSTM/GRU的数学原理与PyTorch实现，并通过文本分类、机器翻译等案例实操加深理解。随后详细讲解Attention机制的原理、Transformer编码器/解码器结构（自注意力、多头注意力、残差连接、层归一化、位置编码），并基于Transformer实现翻译任务。预训练模型部分系统介绍BERT、GPT、T5的预训练与微调，以及HuggingFace生态（AutoModel、Tokenizer、Datasets）的实战应用。课程还涵盖大模型训练的基本概念与代码实现。每个知识点均配有详细的代码演示与项目实操，帮助学员建立扎实的NLP理论基础与工程能力。无论你是AI初学者、算法工程师，还是希望转向NLP方向的开发者，本课程都将是你学习自然语言处理的最佳指南。
各集标题与链接
001-NLP-课程简介
内容小结：介绍课程的整体目标、学习内容、适合人群及学习路径。
视频链接：点击观看
002-NLP-课程概述
内容小结：概述NLP的核心任务（分词、词性标注、命名实体识别、情感分析等）。
视频链接：点击观看
003-NLP-导论-常见任务
内容小结：详细讲解NLP的常见任务：文本分类、序列标注、机器翻译、问答系统等。
视频链接：点击观看
004-NLP-导论-技术演进历史
内容小结：从规则方法、统计机器学习到深度学习、预训练模型的技术演变。
视频链接：点击观看
005-NLP-环境准备
内容小结：安装Python、PyTorch、Jupyter等开发环境。
视频链接：点击观看
006-NLP-文本表示-概述
内容小结：文本表示的重要性，从离散表示到分布式表示。
视频链接：点击观看
007-NLP-文本表示-分词-英文分词
内容小结：英文分词方法（空格、标点、NLTK等）。
视频链接：点击观看
008-NLP-文本表示-分词-英文分词-BPE算法
内容小结：Byte Pair Encoding（BPE）子词分词算法的原理与实现。
视频链接：点击观看
009-NLP-文本表示-分词-中文分词
内容小结：中文分词难点（歧义、未登录词）及常见方法（基于词典、统计）。
视频链接：点击观看
010-NLP-文本表示-分词-分词工具-概述
内容小结：主流分词工具对比（jieba、pkuseg、thulac等）。
视频链接：点击观看
011-NLP-文本表示-分词-分词工具-jieba-分词模式
内容小结：jieba的精确模式、全模式、搜索引擎模式。
视频链接：点击观看
012-NLP-文本表示-分词-分词工具-jieba-分词模式-API
内容小结：jieba的API调用示例及参数说明。
视频链接：点击观看
013-NLP-文本表示-分词-分词工具-jieba-自定义词典
内容小结：加载自定义词典，提高特定领域分词准确率。
视频链接：点击观看
014-NLP-文本表示-词表示-one-hot&语义化词向量-概述
内容小结：One-hot编码的缺点与分布式语义化词向量的优势。
视频链接：点击观看
015-NLP-文本表示-词表示-语义化词向量-Word2Vec-概述
内容小结：Word2Vec的基本思想与两种训练模式（Skip-Gram、CBOW）。
视频链接：点击观看
016-NLP-文本表示-词表示-语义化词向量-Word2Vec-原理-Skip-Gram
内容小结：Skip-Gram模型结构、输入输出、损失函数。
视频链接：点击观看
017-NLP-文本表示-词表示-语义化词向量-Word2Vec-原理-CBOW
内容小结：CBOW模型（连续词袋）的原理与Skip-Gram对比。
视频链接：点击观看
018-NLP-文本表示-词表示-语义化词向量-Word2Vec-获取-公开词向量-说明
内容小结：介绍公开预训练词向量资源（GloVe、FastText等）。
视频链接：点击观看
019-NLP-文本表示-词表示-语义化词向量-Word2Vec-获取-公开词向量-编码
内容小结：加载和使用公开词向量进行相似度计算等任务。
视频链接：点击观看
020-NLP-文本表示-词表示-语义化词向量-训练词向量-概述
内容小结：从零开始训练Word2Vec的步骤与注意事项。
视频链接：点击观看
021-NLP-文本表示-词表示-语义化词向量-训练词向量-实操
内容小结：使用gensim训练Word2Vec模型。
视频链接：点击观看
022-NLP-文本表示-词表示-语义化词向量-应用-概述
内容小结：词向量在文本分类、情感分析等任务中的应用思路。
视频链接：点击观看
023-NLP-文本表示-词表示-语义化词向量-应用-编码
内容小结：将词向量作为特征输入下游模型。
视频链接：点击观看
024-NLP-文本表示-词表示-语义化词向量-应用-OOV问题
内容小结：处理未登录词（OOV）的方法（随机初始化、子词等）。
视频链接：点击观看
025-NLP-文本表示-词表示-上下文相关词向量
内容小结：从静态词向量到动态上下文词向量（ELMo、BERT等）。
视频链接：点击观看
026-NLP-传统序列模型-RNN-概述
内容小结：RNN（循环神经网络）的适用场景（序列数据）。
视频链接：点击观看
027-NLP-传统序列模型-RNN-基础结构
内容小结：RNN的循环单元、隐藏状态更新公式。
视频链接：点击观看
028-NLP-传统序列模型-RNN-示意图
内容小结：RNN的时间展开图，理解参数共享。
视频链接：点击观看
029-NLP-传统序列模型-RNN-多层结构
内容小结：堆叠多层RNN增强模型表达能力。
视频链接：点击观看
030-NLP-传统序列模型-RNN-双向结构
内容小结：双向RNN（BiRNN）同时利用过去和未来信息。
视频链接：点击观看
031-NLP-传统序列模型-RNN-多层+双向结构
内容小结：多层双向RNN的结构与效果。
视频链接：点击观看
032-NLP-传统序列模型-RNN-API-构造参数
内容小结：PyTorch中nn.RNN的构造参数（input_size, hidden_size, num_layers等）。
视频链接：点击观看
033-NLP-传统序列模型-RNN-API-输入输出-概述
内容小结：nn.RNN的输入输出格式（输入序列、初始隐藏状态等）。
视频链接：点击观看
034-NLP-传统序列模型-RNN-API-输入输出-含义
内容小结：各维度含义（seq_len, batch, input_size）。
视频链接：点击观看
035-NLP-传统序列模型-RNN-API-输入输出-形状分析
内容小结：通过代码演示张量形状变化。
视频链接：点击观看
036-NLP-传统序列模型-RNN-API-小练习
内容小结：编写简单的RNN前向传播代码。
视频链接：点击观看
037-NLP-传统序列模型-案例-概述
内容小结：介绍文本分类案例的任务与数据。
视频链接：点击观看
038-NLP-传统序列模型-案例-思路分析-数据集说明
内容小结：解读数据集（如AG News、IMDb）的结构。
视频链接：点击观看
039-NLP-传统序列模型-案例-思路分析-模型结构和训练思路
内容小结：RNN文本分类的模型设计（Embedding+RNN+FC）。
视频链接：点击观看
040-NLP-传统序列模型-RNN-案例-项目结构
内容小结：划分代码文件（data_preprocess, model, train, predict, eval）。
视频链接：点击观看
041-NLP-传统序列模型-RNN-案例-数据预处理-思路分析
内容小结：数据预处理的步骤：读取、分词、构建词表、数值化、填充。
视频链接：点击观看
042-NLP-传统序列模型-RNN-案例-数据预处理-读取json文件
内容小结：读取JSON格式的数据文件。
视频链接：点击观看
043-NLP-传统序列模型-RNN-案例-数据预处理-文件路径说明
内容小结：组织项目文件路径，确保代码可移植性。
视频链接：点击观看
044-NLP-传统序列模型-RNN-案例-数据预处理-文件路径处理
内容小结：使用os.path处理路径。
视频链接：点击观看
045-NLP-传统序列模型-RNN-案例-数据预处理-构建并保存词表
内容小结：统计词频，构建word2idx映射，保存为pickle文件。
视频链接：点击观看
046-NLP-传统序列模型-RNN-案例-数据预处理-构建训练集
内容小结：将文本转换为序列索引，padding至统一长度。
视频链接：点击观看
047-NLP-传统序列模型-RNN-案例-数据预处理-保存训练集&测试集
内容小结：保存处理后的训练集、测试集文件。
视频链接：点击观看
048-NLP-传统序列模型-RNN-案例-数据集-说明
内容小结：总结数据集的加载与使用方式。
视频链接：点击观看
049-NLP-传统序列模型-RNN-案例-数据集-编码
内容小结：实现自定义Dataset类，用于DataLoader。
视频链接：点击观看
050-NLP-传统序列模型-RNN-案例-模型定义-初始化方法
内容小结：定义RNN分类器类的__init__方法，包含Embedding层、RNN层、全连接层。
视频链接：点击观看
051-NLP-传统序列模型-RNN-案例-模型定义-前向传播
内容小结：实现forward方法，处理RNN输出并过全连接层。
视频链接：点击观看
052-NLP-传统序列模型-RNN-案例-训练脚本-环境准备
内容小结：导入库、设置设备、超参数等。
视频链接：点击观看
053-NLP-传统序列模型-RNN-案例-训练脚本-训练循环
内容小结：训练循环整体结构。
视频链接：点击观看
054-NLP-传统序列模型-RNN-案例-训练脚本-单个轮次的训练逻辑
内容小结：单个epoch的训练步骤（前向、损失、反向、优化）。
视频链接：点击观看
055-NLP-传统序列模型-RNN-案例-训练脚本-Tensorboard使用说明
内容小结：使用TensorBoard记录损失曲线。
视频链接：点击观看
056-NLP-传统序列模型-RNN-案例-训练脚本-保存模型
内容小结：保存模型参数到文件。
视频链接：点击观看
057-NLP-传统序列模型-RNN-案例-预测脚本-说明
内容小结：预测脚本的功能与流程。
视频链接：点击观看
058-NLP-传统序列模型-RNN-案例-预测脚本-编码-上
内容小结：加载模型和词表，对输入文本分词转索引。
视频链接：点击观看
059-NLP-传统序列模型-RNN-案例-预测脚本-编码-下
内容小结：执行模型预测并输出类别。
视频链接：点击观看
060-NLP-传统序列模型-RNN-案例-评估脚本-说明
内容小结：评估脚本的功能（计算准确率、召回率等）。
视频链接：点击观看
061-NLP-传统序列模型-RNN-案例-评估脚本-编码
内容小结：在测试集上评估模型性能。
视频链接：点击观看
062-NLP-传统序列模型-RNN-案例-代码改造说明
内容小结：提出代码优化的方向（如复用性、参数化）。
视频链接：点击观看
063-NLP-传统序列模型-RNN-案例-Tokenizer-说明
内容小结：介绍Tokenizer类的设计思路。
视频链接：点击观看
064-NLP-传统序列模型-RNN-案例-Tokenizer-编码
内容小结：实现Tokenizer类封装分词、词表构建、序列化等功能。
视频链接：点击观看
065-NLP-传统序列模型-RNN-存在问题-概述
内容小结：RNN的梯度消失/爆炸问题。
视频链接：点击观看
066-NLP-传统序列模型-RNN-存在问题-分析
内容小结：通过数学推导解释梯度消失/爆炸的原因。
视频链接：点击观看
067-NLP-传统序列模型-LSTM-概述
内容小结：LSTM（长短期记忆网络）的设计初衷与优势。
视频链接：点击观看
068-NLP-传统序列模型-LSTM-基础结构-说明
内容小结：LSTM的三个门（遗忘门、输入门、输出门）及细胞状态。
视频链接：点击观看
069-NLP-传统序列模型-LSTM-缓解梯度消失和爆炸
内容小结：LSTM如何通过门控机制缓解梯度问题。
视频链接：点击观看
070-NLP-传统序列模型-LSTM-复杂结构
内容小结：多层、双向LSTM。
视频链接：点击观看
071-NLP-传统序列模型-LSTM-API-构造参数
内容小结：nn.LSTM的构造参数（与nn.RNN类似）。
视频链接：点击观看
072-NLP-传统序列模型-LSTM-API-输入输出
内容小结：nn.LSTM的输出包含输出序列和最终隐藏状态/细胞状态。
视频链接：点击观看
073-NLP-传统序列模型-LSTM-案例-概述&思路分析
内容小结：使用LSTM进行情感分析（文本分类）的案例概述。
视频链接：点击观看
074-NLP-传统序列模型-LSTM-案例-数据处理-说明
内容小结：数据预处理流程与RNN案例类似，可复用Tokenizer。
视频链接：点击观看
075-NLP-传统序列模型-LSTM-案例-数据处理-编码-上
内容小结：实现数据加载与预处理代码。
视频链接：点击观看
076-NLP-传统序列模型-LSTM-案例-数据处理-编码-下
内容小结：完成数据集的构建。
视频链接：点击观看
077-NLP-传统序列模型-LSTM-案例-数据集
内容小结：封装Dataset类。
视频链接：点击观看
078-NLP-传统序列模型-LSTM-案例-模型定义
内容小结：定义LSTM分类器模型（Embedding+LSTM+FC）。
视频链接：点击观看
079-NLP-传统序列模型-LSTM-案例-模型训练
内容小结：训练LSTM模型，监控损失。
视频链接：点击观看
080-NLP-传统序列模型-LSTM-案例-模型预测
内容小结：对新文本进行情感预测。
视频链接：点击观看
081-NLP-传统序列模型-LSTM-案例-模型评估
内容小结：计算准确率等指标。
视频链接：点击观看
082-NLP-传统序列模型-LSTM-存在问题
内容小结：LSTM仍存在一些问题（如计算量大、难以并行）。
视频链接：点击观看
083-NLP-传统序列模型-GRU-基础结构
内容小结：GRU（门控循环单元）的结构（更新门、重置门）。
视频链接：点击观看
084-NLP-传统序列模型-GRU-复杂结构&API使用说明
内容小结：多层、双向GRU，以及nn.GRU API。
视频链接：点击观看
085-NLP-传统序列模型-GRU-案例实操
内容小结：使用GRU替换LSTM完成相同任务。
视频链接：点击观看
086-NLP-传统序列模型-LSTM_GRU_RNN横向对比
内容小结：对比RNN、LSTM、GRU的性能与复杂度。
视频链接：点击观看
087-NLP-Seq2Seq-概述
内容小结：Seq2Seq模型用于序列到序列任务（机器翻译、文本摘要）。
视频链接：点击观看
088-NLP-Seq2Seq-模型结构-编码器
内容小结：编码器将输入序列编码为上下文向量。
视频链接：点击观看
089-NLP-Seq2Seq-模型结构-解码器
内容小结：解码器基于上下文向量自回归生成输出序列。
视频链接：点击观看
090-NLP-Seq2Seq-模型结构-训练机制
内容小结：Teacher Forcing技术及训练时解码器的输入。
视频链接：点击观看
091-NLP-Seq2Seq-模型结构-推理机制
内容小结：推理时自回归生成，使用结束符停止。
视频链接：点击观看
092-NLP-Seq2Seq-模型结构-案例实操-概述
内容小结：实现一个中英文机器翻译的Seq2Seq模型。
视频链接：点击观看
093-NLP-Seq2Seq-模型结构-案例实操-需求分析
内容小结：明确翻译任务的数据和评估指标。
视频链接：点击观看
094-NLP-Seq2Seq-模型结构-案例实操-数据预处理-读取文件
内容小结：读取平行语料（中英文句子对）。
视频链接：点击观看
095-NLP-Seq2Seq-模型结构-案例实操-数据预处理-改造Tokenizer
内容小结：为源语言和目标语言分别构建Tokenizer，添加特殊标记（<sos>、<eos>、<pad>、<unk>）。
视频链接：点击观看
096-NLP-Seq2Seq-模型结构-案例实操-数据预处理-词表构建
内容小结：构建并保存词表。
视频链接：点击观看
097-NLP-Seq2Seq-模型结构-案例实操-数据预处理-构建数据集
内容小结：将句子转换为索引序列，并添加SOS/EOS。
视频链接：点击观看
098-NLP-Seq2Seq-模型结构-案例实操-Dataloader
内容小结：实现DataLoader批量处理，padding至相同长度。
视频链接：点击观看
099-NLP-Seq2Seq-模型结构-案例实操-模型定义-编码器
内容小结：定义编码器（Embedding+RNN/LSTM）。
视频链接：点击观看
100-NLP-Seq2Seq-模型结构-案例实操-模型定义-解码器
内容小结：定义解码器（Embedding+RNN+输出层）。
视频链接：点击观看
101-NLP-Seq2Seq-模型结构-案例实操-模型定义-完整模型
内容小结：将编码器和解码器组合为Seq2Seq模型。
视频链接：点击观看
102-NLP-Seq2Seq-模型结构-案例实操-训练脚本-核心代码
内容小结：编写训练循环，计算损失时忽略padding位置。
视频链接：点击观看
103-NLP-Seq2Seq-模型结构-案例实操-训练脚本-pad_token处理逻辑
内容小结：在损失函数中设置ignore_index=PAD_ID。
视频链接：点击观看
104-NLP-Seq2Seq-案例-预测脚本
内容小结：实现翻译预测，贪婪解码。
视频链接：点击观看
105-NLP-Seq2Seq-案例-评估脚本-bleu说明
内容小结：BLEU评分作为机器翻译的评估指标。
视频链接：点击观看
106-NLP-Seq2Seq-案例-评估脚本-编码
内容小结：计算模型在测试集上的BLEU分数。
视频链接：点击观看
107-NLP-Seq2Seq-总结
内容小结：总结Seq2Seq的优缺点及改进方向（注意力机制）。
视频链接：点击观看
108-NLP-Attention机制-概述
内容小结：注意力机制帮助解码器动态关注编码器不同位置的隐藏状态。
视频链接：点击观看
109-NLP-Attention机制-工作原理-概述
内容小结：注意力的核心是计算权重分布。
视频链接：点击观看
110-NLP-Attention机制-工作原理-具体步骤
内容小结：得分函数、softmax归一化、加权求和。
视频链接：点击观看
111-NLP-Attention机制-注意力评分函数
内容小结：加性注意力、点积注意力、缩放点积注意力。
视频链接：点击观看
112-NLP-Attention机制-案例-代码升级改造思路
内容小结：在Seq2Seq的RNN基础上增加注意力层。
视频链接：点击观看
113-NLP-Attention机制-案例-注意力机制-实现思路
内容小结：设计注意力模块，计算上下文向量并与解码器输入拼接。
视频链接：点击观看
114-NLP-Attention机制-案例-注意力机制-编码
内容小结：实现注意力模块的PyTorch代码。
视频链接：点击观看
115-NLP-Attention机制-案例-注意力机制-训练和预测逻辑修改
内容小结：修改解码器前向传播，使用注意力上下文向量。
视频链接：点击观看
116-NLP-Transformer-概述
内容小结：Transformer完全基于自注意力，抛弃RNN/CNN。
视频链接：点击观看
117-NLP-Transformer-核心思想
内容小结：自注意力并行计算所有位置间的依赖关系。
视频链接：点击观看
118-NLP-Transformer-模型结构-整体结构
内容小结：Transformer由编码器堆叠和解码器堆叠组成。
视频链接：点击观看
119-NLP-Transformer-模型结构-编码器-概述
内容小结：编码器层包含自注意力子层和前馈神经网络子层。
视频链接：点击观看
120-NLP-Transformer-模型结构-编码器-自注意力子层-生成QKV向量
内容小结：通过线性变换生成Query、Key、Value。
视频链接：点击观看
121-NLP-Transformer-模型结构-编码器-自注意力子层-完整计算过程
内容小结：缩放点积注意力公式，输出加权和。
视频链接：点击观看
122-NLP-Transformer-模型结构-编码器-自注意力子层-多头注意力
内容小结：多头注意力并行计算多个注意力头，拼接后线性变换。
视频链接：点击观看
123-NLP-Transformer-模型结构-编码器-前馈神经网络层
内容小结：两层全连接网络，中间使用ReLU激活。
视频链接：点击观看
124-NLP-Transformer-模型结构-编码器-残差连接&层归一化-概述
内容小结：每个子层后都添加残差连接和层归一化。
视频链接：点击观看
125-NLP-Transformer-模型结构-编码器-残差连接-说明
内容小结：残差连接缓解梯度消失，使网络更深。
视频链接：点击观看
126-NLP-Transformer-模型结构-编码器-层归一化
内容小结：LayerNorm在特征维度上进行归一化，加速训练。
视频链接：点击观看
127-NLP-Transformer-模型结构-编码器-位置编码
内容小结：为输入添加正弦/余弦位置编码，引入序列顺序信息。
视频链接：点击观看
128-NLP-Transformer-模型结构-编码器-说明
内容小结：总结编码器的完整前向传播流程。
视频链接：点击观看
129-NLP-Transformer-模型结构-编码器-小结
内容小结：编码器要点回顾。
视频链接：点击观看
130-NLP-Transformer-模型结构-解码器-概述
内容小结：解码器比编码器多一个掩码多头自注意力和交叉注意力子层。
视频链接：点击观看
131-NLP-Transformer-模型结构-解码器-Mask-Attention
内容小结：掩码自注意力防止解码器看到未来的位置。
视频链接：点击观看
132-NLP-Transformer-模型结构-解码器-Cross-Attention
内容小结：交叉注意力层使用编码器输出作为K、V，解码器上一层的输出作为Q。
视频链接：点击观看
133-NLP-Transformer-模型结构-解码器-小结
内容小结：解码器关键点总结。
视频链接：点击观看
134-NLP-Transformer-实现细节-注意力为什么需要缩放
内容小结：缩放因子1/sqrt(d_k)防止点积过大导致softmax梯度极小。
视频链接：点击观看
135-NLP-Transformer-实现细节-注意力如何感知相对位置
内容小结：位置编码使注意力能够感知相对距离。
视频链接：点击观看
136-NLP-Transformer-模型训练和推理机制
内容小结：训练时teacher forcing，推理时自回归。
视频链接：点击观看
137-NLP-Transformer-API-概述
内容小结：PyTorch的nn.Transformer模块简介。
视频链接：点击观看
138-NLP-Transformer-API-nn.Transformer-构造参数
内容小结：参数解释（d_model, nhead, num_encoder_layers等）。
视频链接：点击观看
139-NLP-Transformer-API-nn.Transformer-forward方法-概述
内容小结：forward的输入输出说明。
视频链接：点击观看
140-NLP-Transformer-API-nn.Transformer-forward方法-输入输出
内容小结：src, tgt, src_mask, tgt_mask, memory_mask等。
视频链接：点击观看
141-NLP-Transformer-API-nn.Transformer-encoder&decoder
内容小结：单独使用encoder或decoder的方法。
视频链接：点击观看
142-NLP-Transformer-案例-代码改造思路
内容小结：将Seq2Seq模型升级为Transformer。
视频链接：点击观看
143-NLP-Transformer-案例-模型定义-基础结构
内容小结：定义Transformer翻译模型类。
视频链接：点击观看
144-NLP-Transformer-案例-模型定义-位置编码-简易实现
内容小结：实现简易可学习的位置编码。
视频链接：点击观看
145-NLP-Transformer-案例-模型定义-位置编码-哈弗实现
内容小结：参考哈佛NLP的sin/cos位置编码实现。
视频链接：点击观看
146-NLP-Transformer-案例-模型定义-前向传播
内容小结：实现完整的forward逻辑。
视频链接：点击观看
147-NLP-Transformer-案例-训练脚本
内容小结：训练Transformer模型，使用掩码。
视频链接：点击观看
148-NLP-Transformer-案例-预测&评估脚本
内容小结：翻译预测和BLEU评估。
视频链接：点击观看
149-NLP-Transformer-哈佛版本-核心源码解读
内容小结：分析哈佛NLP开源Transformer实现的代码结构。
视频链接：点击观看
150-NLP-预训练模型-概述
内容小结：预训练+微调范式对NLP的变革。
视频链接：点击观看
151-NLP-预训练模型-分类
内容小结：自回归（GPT）、自编码（BERT）、Encoder-Decoder（T5）等。
视频链接：点击观看
152-NLP-预训练模型-主流模型-GPT-概述
内容小结：GPT（Generative Pre-trained Transformer）的单向语言模型。
视频链接：点击观看
153-NLP-预训练模型-主流模型-GPT-模型结构
内容小结：使用Transformer解码器堆叠，自回归生成。
视频链接：点击观看
154-NLP-预训练模型-主流模型-GPT-预训练
内容小结：基于海量文本的下一个词预测任务。
视频链接：点击观看
155-NLP-预训练模型-主流模型-GPT-微调
内容小结：在具体下游任务上进行有监督微调。
视频链接：点击观看
156-NLP-预训练模型-主流模型-BERT-概述
内容小结：BERT（Bidirectional Encoder Representations from Transformers）的双向编码器。
视频链接：点击观看
157-NLP-预训练模型-主流模型-BERT-模型结构
内容小结：Transformer编码器堆叠，使用MLM和NSP预训练任务。
视频链接：点击观看
158-NLP-预训练模型-主流模型-BERT-微调
内容小结：在各类任务中添加输出头进行微调。
视频链接：点击观看
159-NLP-预训练模型-主流模型-BERT-预训练
内容小结：掩码语言模型（MLM）和下一句预测（NSP）。
视频链接：点击观看
160-NLP-预训练模型-主流模型-T5-概述&模型结构
内容小结：T5（Text-to-Text Transfer Transformer）将所有任务转为文本生成。
视频链接：点击观看
161-NLP-预训练模型-主流模型-T5-预训练&微调
内容小结：使用跨度破坏（span corruption）预训练，微调时添加任务前缀。
视频链接：点击观看
162-NLP-预训练模型-HF-概述
内容小结：HuggingFace Transformers库的介绍。
视频链接：点击观看
163-NLP-预训练模型-HF-模型加载-AutoModel
内容小结：使用AutoModel.from_pretrained()加载预训练模型。
视频链接：点击观看
164-NLP-预训练模型-HF-模型加载-AutoModelForXXX
内容小结：针对不同任务加载带头的模型（如AutoModelForSequenceClassification）。
视频链接：点击观看
165-NLP-预训练模型-HF-模型使用
内容小结：模型前向传播获取输出。
视频链接：点击观看
166-NLP-预训练模型-HF-Tokenizer-加载
内容小结：使用AutoTokenizer加载对应分词器。
视频链接：点击观看
167-NLP-预训练模型-HF-Tokenizer-使用
内容小结：调用tokenizer进行编码、填充、截断。
视频链接：点击观看
168-NLP-预训练模型-HF-Tokenizer-模型配合使用
内容小结：将tokenizer输出直接输入模型。
视频链接：点击观看
169-NLP-预训练模型-HF-Datasets-概述
内容小结：HuggingFace Datasets库简化数据集加载与处理。
视频链接：点击观看
170-NLP-预训练模型-HF-Datasets-加载数据集
内容小结：load_dataset加载内置或自定义数据集。
视频链接：点击观看
171-NLP-预训练模型-HF-Datasets-查看数据集
内容小结：查看数据集的样本、特征、分割。
视频链接：点击观看
172-NLP-预训练模型-HF-Datasets-加载在线数据集
内容小结：从HuggingFace Hub加载公共数据集。
视频链接：点击观看
173-NLP-预训练模型-HF-Datasets-预处理数据集-过滤数据
内容小结：使用filter方法筛选样本。
视频链接：点击观看
174-NLP-预训练模型-HF-Datasets-预处理数据集-划分数据集
内容小结：使用train_test_split划分训练/验证集。
视频链接：点击观看
175-NLP-预训练模型-HF-Datasets-预处理数据集-map-上
内容小结：使用map方法批量应用处理函数。
视频链接：点击观看
176-NLP-预训练模型-HF-Datasets-预处理数据集-map-下
内容小结：完成map的编码实践。
视频链接：点击观看
177-NLP-预训练模型-HF-Datasets-保存数据集
内容小结：将处理后的数据集保存到磁盘。
视频链接：点击观看
178-NLP-预训练模型-HF-Datasets-集成Dataloader
内容小结：使用set_format转换为PyTorch张量，并创建DataLoader。
视频链接：点击观看
179-NLP-预训练模型-案例-数据预处理-上
内容小结：使用HF库预处理文本分类数据。
视频链接：点击观看
180-NLP-预训练模型-案例-数据预处理-下
内容小结：完成数据预处理流程。
视频链接：点击观看
181-NLP-预训练模型-案例-Dataloader
内容小结：构建DataLoader。
视频链接：点击观看
182-NLP-预训练模型-案例-模型定义
内容小结：定义基于BERT的文本分类模型。
视频链接：点击观看
183-NLP-预训练模型-案例-模型训练
内容小结：训练BERT分类器。
视频链接：点击观看
184-NLP-预训练模型-案例-模型推理
内容小结：对新样本进行预测。
视频链接：点击观看
185-NLP-预训练模型-案例-模型评估
内容小结：计算准确率等指标。
视频链接：点击观看
186-NLP-预训练模型-案例-测试
内容小结：完整测试模型效果。
视频链接：点击观看
187-NLP-预训练模型-案例-带任务头的预训练模型
内容小结：直接使用AutoModelForSequenceClassification等API完成端到端训练。
视频链接：点击观看
说明：以上链接可直接点击跳转对应集数观看。
回复