spaCy & pytorch-lightning 报错

注意

在pl.LightningModule中，不可以使用spaCy进行分词等操作，否则会报错

1. 在forward过程中使用

...
File "spacy/pipeline/trainable_pipe.pyx", line 75, in spacy.pipeline.trainable_pipe.TrainablePipe.pipe
...

可能由于pl框架内自动对模型内所有对象进行了状态转换，使其全部尽可能变为可训练对象，同样的，使原本的Pipe也转换为TrainablePipe，会报错，其中有一句错误如上所示

2. 规避问题1，用nlp.pipe

同样不行，跟在forward中是同样的问题，一样会被转换为可训练的pipe

3. 规避问题1，将spaCy处理写在模型外部作为函数调用

同样会报错，错误与上述的不同，很莫名其妙的错误

解决方法

没找到太好的解决办法，只能自己人工重写一下需要的功能，比如去停用词之类的功能

笔者语

尝试了一个下午，各种问题，各种bug，写成外部函数不行，意思好像是不能调用外部的东西，影响框架，一旦加到模型里又会被强制转换为可训练对象，导致会在用nlp分词的时候直接报错
百度和csdn上找了一圈都没找到同时用两个框架的，这种用法比较少，出现的bug也没有人记录，改了一个下午，发现确实改不出来，明天再自己手写个文本处理器吧，希望能帮大家避避坑吧，省点时间不如自己去写个处理器～