数据预处理（中文论文PDF）

思路：

1、PDF转txt，Python库包pdfminer，效果挺差的，很多字母都识别不出来；

2、PDF2TXT软件，效果没那么差，字母在，但是格式很不好处理；

3、PDF2doc，网站好用，转出来的doc格式几乎一致，不过感觉人工转有些费劲，Python库包PDF2docx效果不大好，会乱；

4、试着解析doc，若效果好则再进行后续

5、发现很多PDF都是图片格式，则PDF2doc也不能使用了，需要用OCR识别，使用pdfconv

GitHub - xieyan0811/pdfconv: 中文PDF转TXT的实用工具https://github.com/xieyan0811/pdfconv效果尚可，初步决定使用这个，在数学公式部分识别不好

6、问题在于如何标注分割论文正文各功能结构（章节）部分。

7、一个txt要做哪些处理：删除空行，去掉正文以外的部分，去掉行内空格，分割得到结语；换行符替代为~，正则表达式匹配目标字符串，然后分割正文部分写入Excel

 

 

8、得到章节标题对应的文本，正则表达式匹配出很多干扰内容，需要人工删除非章节标题部分，然后用代码将正确的部分合在一起，由于数学公式识别效果一般（会识别出不合理不通顺的中文或英文），文本语料不算是上乘文本