![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
文本摘要抽取代码解读
文章平均质量分 76
唐僧爱吃唐僧肉
这个作者很懒,什么都没留下…
展开
-
python3 final.py 对应代码解读抽取式提取+生成式提取摘要代码解读
topk关键代码预测部分预测的主要内容是这一段对应的代码for d in tqdm(valid_data): text = '\n'.join(d[0]) summary = predict(text) metrics = compute_metrics(summary, d[2]) for k, v in metrics.items(): total_metrics[k] += v关键预测部分代码summary = predict(text)进原创 2021-11-09 20:44:53 · 287 阅读 · 0 评论 -
Function AddmmBackward returned an invalid gradient at index 1报错解决
最近在写程序的时候,在损失进行反向传播的时候,出现了这样的一个错误Function MmBackward returned an invalid gradient at index 0 - got [2400, 150] but expected shape compatible with [2400, 768]为了排查错误,我们首先使用注释法注释掉网络结构的一些内容,然后再接着跑(排查是哪一个网络结构出现了问题)output = self.dense(output)output = self.原创 2021-11-08 22:31:20 · 4200 阅读 · 2 评论 -
conv1d膨胀卷积网络输出解析
conv1d卷积维度变化dilation = 1时的情形dilation=2的时候对应维度dilation=3时的对应维度总结conv1d中的网络层的卷积维度变化一直是一个非常让人头疼的地方,尤其是本身理解了kernel_size加入之后的维度变化后,又加入了dilation的参数,这下直接让像我一样的大多数小白直接懵比了。这里通过dilation以及kernel_size的变化,来探求卷积维度的变化dilation = 1时的情形当dilation = 1的时候,输出的最后一个维度为原始维度减去ke原创 2021-10-31 22:19:57 · 3179 阅读 · 0 评论 -
python3 seq2seq_convert.py 对应代码解读抽取式提取+生成式提取摘要代码解读------摘要代码解读4
查看main函数中的内容,首先进行文件的读取if __name__ == '__main__': #data_extract_json = /home/xiaoguzai/代码/法研杯文本摘要/datasets/train_extract.json data = load_data(data_extract_json) data_x = np.load(data_extract_npy) data_seq2seq_json = data_json[:-5] + '_seq2原创 2021-10-22 15:48:04 · 591 阅读 · 2 评论 -
python3 extract_model.py对应代码解读抽取式提取+生成式提取摘要代码解读------摘要代码解读3
extract_model.py对文本进行向量化操作的过程解读由之前extract_vectorize.py保存权重说起由之前extract_vectorize.py保存权重说起之前extract_vectorize.py之中的np.save(data_extract_npy, embeddings)是将输出的权重内容保存到对应的文件之中,这里extract_model.py之中首先将先前保存的内容读取出来data = load_data(data_extract_json)data_x =原创 2021-10-21 17:29:13 · 975 阅读 · 6 评论 -
python3 extract_vectorize.py对应代码解读抽取式提取+生成式提取摘要代码解读------摘要代码解读2
extract_vectorize.py对文本进行向量化操作的过程解读由之前extract_convert.py打乱文本顺序的操作说起回到当前的程序中去extract_vectorize.py之中的convert函数调用过程由之前extract_convert.py打乱文本顺序的操作说起之前最末尾的时候,对文本的id有一个打乱顺序的操作if os.path.exists(data_random_order_json): idxs = json.load(open(data_random_ord原创 2021-10-20 17:40:32 · 459 阅读 · 0 评论 -
python extract_convert.py对应代码解读抽取式提取+生成式提取摘要代码解读------摘要代码解读1
pytorch动态调整学习率抽取式生成的代码convert数据转化的过程进入extract_convert.py中的extract_flow函数内容进入extract_convert.py中的extract_matching函数内容snippets.py之中查看compute_metrics函数的内容snippets.py之中查看compute_rouge函数内容抽取式生成的代码最近拜读了苏大佬抽取式生成的代码,收获颇丰,这里解析一下对应内容对应的github项目地址:https://github.原创 2021-10-19 18:24:08 · 1091 阅读 · 1 评论