fastNLP是一款轻量级的自然语言处理(NLP)工具包,目标是快速实现NLP任务以及构建复杂模型。
fastNLP具有如下的特性:
- 统一的Tabular式数据容器,简化数据预处理过程;
- 内置多种数据集的Loader和Pipe,省去预处理代码;
- 各种方便的NLP工具,例如Embedding加载(包括ELMo和BERT)、中间数据cache等;
- 部分数据集与预训练模型的自动下载;
- 提供多种神经网络组件以及复现模型(涵盖中文分词、命名实体识别、句法分析、文本分类、文本匹配、指代消解、摘要等任务);
- Trainer提供多种内置Callback函数,方便实验记录、异常捕获等。
fastNLP 依赖以下包:
- numpy>=1.14.2
- torch>=1.0.0
- tqdm>=4.28.1
- nltk>=3.4.1
- requests
- spacy
- prettytable>=0.7.2
其中torch的安装可能与操作系统及 CUDA 的版本相关,请参见 PyTorch 官网 。 在依赖包安装完成后,您可以在命令行执行如下指令完成安装
pip install fastNLP
python -m spacy download en
- 1. 使用DataSet预处理文本
- 2. 使用Vocabulary转换文本与index
- 3. 使用Embedding模块将文本转成向量
- 4. 使用Loader和Pipe加载并处理数据集
- 5. 动手实现一个文本分类器I-使用Trainer和Tester快速训练和测试
- 6. 动手实现一个文本分类器II-使用DataSetIter实现自定义训练过程
- 7. 使用Metric快速评测你的模型
- 8. 使用Modules和Models快速搭建自定义模型
- 9. 快速实现序列标注模型
- 10. 使用Callback自定义你的训练过程
大部分用于的 NLP 任务神经网络都可以看做由词嵌入(embeddings)和两种模块:编码器(encoder)、解码器(decoder)组成。
以文本分类任务为例,下图展示了一个BiLSTM+Attention实现文本分类器的模型流程图:
fastNLP 在 embeddings 模块中内置了几种不同的embedding:静态embedding(GloVe、word2vec)、上下文相关embedding (ELMo、BERT)、字符embedding(基于CNN或者LSTM的CharEmbedding)
与此同时,fastNLP 在 modules 模块中内置了两种模块的诸多组件,可以帮助用户快速搭建自己所需的网络。 两种模块的功能和常见组件如下:
类型 | 功能 | 例子 |
encoder | 将输入编码为具有具有表示能力的向量 | Embedding, RNN, CNN, Transformer, ... |
decoder | 将具有某种表示意义的向量解码为需要的输出形式 | MLP, CRF, ... |
fastNLP的大致工作流程如上图所示,而项目结构如下:
fastNLP | 开源的自然语言处理库 |
fastNLP.core | 实现了核心功能,包括数据处理组件、训练器、测试器等 |
fastNLP.models | 实现了一些完整的神经网络模型 |
fastNLP.modules | 实现了用于搭建神经网络模型的诸多组件 |
fastNLP.embeddings | 实现了将序列index转为向量序列的功能,包括读取预训练embedding等 |
fastNLP.io | 实现了读写功能,包括数据读入与预处理,模型读写,数据与模型自动下载等 |
In memory of @FengZiYjun. May his soul rest in peace. We will miss you very very much!