Skip to content

自然语言处理学习笔记:机器学习及深度学习原理和示例,基于 Tensorflow 和 PyTorch 框架,Transformer、BERT、ALBERT等最新预训练模型及源代码详解,及基于预训练模型进行各种自然语言处理任务。模型部署

Notifications You must be signed in to change notification settings

YangBin1729/nlp_notes

Repository files navigation

自然语言处理学习笔记

机器学习及深度学习原理和示例,基于 Tensorflow 和 PyTorch 框架,Transformer、BERT、ALBERT等最新预训练模型及源代码详解,及基于预训练模型进行各种自然语言处理任务。以及模型部署

两种传统的模型:

  • 01-基于规则与基于概率的模型

    • 基于规则或模板生成对话系统
    • 基于概率的语言模型
      • 利用语料数据,实现了简略的 2-gram 模型,并利用该模型判断句子的合理性
  • 02-基于搜索的决策系统.ipynb

    • 根据中国城市的位置信息,实现简单的路径规划系统

    • 根据武汉地铁的各站点的位置信息,实现简单的路径规划系统

      • 图的广度优先搜索及深度优先搜索
    • 搜索问题的抽象模式

      • Travelling Sales man Problem
        • 启发式

        • A* 搜索

        • 动态规划

  • 机器学习算法,及其应用
  • python 实现基本的神经网络:激活函数,损失函数,前向传播,反向传播
  • python 实现各种梯度下降算法,初始化,Batch Normalization,正则化
  • python 实行 CNN
  • 创建神经网络,实现图像分类与情感分类,涉及到词向量,CNN,RNN 等模型

  • CNN架构,自编码器,对抗生成网络,风格迁移基本原理 等

基本的文本处理:

涉及到分词、词表征、文档表征,原理及代码实现

00-文本处理的基本流程

00-文本预处理常用函数

01-分词

01-编辑距离

02-词表征与词向量

03-训练词向量

04-文档向量

04-文档向量

05-doc2vec

PageRank和TextRank

06-PageRank及TextRank

主题模型

09-LDA主题模型

利用神经网络实现文本分类、语言模型、语言生成

07-keras-imdb-classification

08-keras-imdb-rnn

10-RNN语言模型

15-基于词向量和LSTM对豆瓣影评分类(TensorFlow)

16-基于RNN的字符级自然语言生成

39-自然语言生成

序列标注任务:

HMM算法、CRF算法,原理及代码实现

11-基于HMM和Viterbi算法的序列标注

12-BiLSTM和CRF算法的序列标注原理

13-基于BiLSTM和CRF算法的命名实体识别(PyTorch)

14-基于BiLSTM和CRF算法的命名实体识别(TensorFlow)

Attention机制及Transformer模型

25-Attention机制

26-Attention使用示例

27-基于Attention的中译英(TensorFlow)

28-基于Attention的图片标注(TensorFlow)

30-Transformer模型及源代码(PyTorch)

31-基于Transformer的中译英(TensorFlow)

32-基于Transformer的seq2seq模型(PyTorch)

33-Transformer-XL

34-Transformer优化

BERT及后续预训练模型

BERT 模型原理及代码实现,基于 PyTorch 和 TensorFlow

20-ELMo模型

40-BERT基本原理及运用

41-BERT创建训练数据(Tensorflow)

42-BERT模型详解及代码实现(Tensorflow)

42-BERT模型详解及代码实现(Tensorflow)

43-BERT模型详解及代码实现(Tensorflow)

44-BERT预训练及代码实现(Tensorflow)

BERT官方源码

40-bert-modeling(TensorFlow)

基于BERT的自然语言处理任务

45-基于BERT的文本分类

46-基于BERT的问答任务

47-基于BERT的文本摘要

48-基于BERT的命名实体识别

49-以BERT为底层结构的分类模型

BERT的优化改进及后续预训练模型

50-BERT加速

51-XLNet模型

52-ALBERT

55-RoBERTa

65-GPT

66-miniGPT(TensorFlow)

66-miniGPT(TensorFlow)

67-ERNIE

80-ELECTR预训练模型

90-Reformer模型

99-预训练模型MASK方法总结

99-预训练模型总结

其它

35-NLP数据增强

36-生成模型的解码方法

37-positioanl encoding

38-填充与遮盖

About

自然语言处理学习笔记:机器学习及深度学习原理和示例,基于 Tensorflow 和 PyTorch 框架,Transformer、BERT、ALBERT等最新预训练模型及源代码详解,及基于预训练模型进行各种自然语言处理任务。模型部署

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published