GitHub - BarryZM/dataProcessor: 中英文语料数据清洗及分布式分句分词预处理工作

BarryZM / dataProcessor Public

Notifications You must be signed in to change notification settings
Fork 4
Star 9

中英文语料数据清洗及分布式分句分词预处理工作

9 stars 4 forks Branches Tags Activity

Name		Name	Last commit message	Last commit date
Latest commit History 10 Commits
corpus_process		corpus_process
README.md		README.md
appClean.py		appClean.py
batchRead.ipynb		batchRead.ipynb
corpusClean.py		corpusClean.py
englishClean.py		englishClean.py
englishProcessor.py		englishProcessor.py
newsClean.py		newsClean.py
professionClean.py		professionClean.py
splitFile.py		splitFile.py

Repository files navigation

代码主要是对较大型语料（约14G的语料）进行分布式清洗和分句分词操作

代码包括：

如何批量读取文件夹及子文件夹下的数据

如何将批量整合文件夹及子文件下的数据

匹配中英文里可能出现的所有特殊字符

匹配各类网址及网页标签

匹配希腊字母汉语拼音及繁体字等

利用PyLTP模块进行分句

去掉文本空行函数

计时装饰器以及代码进度条

添加分布式分词处理类文件

欢迎star和fork