报错问题解决
唐僧爱吃唐僧肉
这个作者很懒,什么都没留下…
展开
-
nothing to repeat at position 5报错解决
将对应的正则分割内容currenttext = re.split(r'(!|。|?)',train_load_dict[index]['content'])#上面一句能跑通修改为currenttext = re.split(r'([!]|[。]|[?])',train_load_dict[index]['content'])#这里正则必须加上[],否则代码无法跑通,报错之后,代码就能够正常跑通了...原创 2022-05-29 20:51:59 · 481 阅读 · 0 评论 -
混合精度asser error
在调用混合精度训练optimizer.zero_grad()with torch.cuda.amp.autocast(): result,loss = model(input_ids=batch_token,\ labels=batch_label,generate=False)scaler.scale(loss).backward()scaler.step(optimizer)scaler.update()这里调用scaler.scale(l原创 2022-05-17 22:04:29 · 626 阅读 · 0 评论 -
RuntimeError: Found dtype Long but expected Float
今天在跑模型的时候,发现了以下的报错RuntimeError: Found dtype Long but expected Float这里的报错发生在BCELoss的部分loss_fn = torch.nn.BCELoss()logit = logit.view(logit.size()[0]*logit.size()[1],-1)batch_label = batch_label.view(batch_label.size()[0]*batch_label.size()[1],-1)cros原创 2022-05-15 09:54:18 · 8142 阅读 · 0 评论 -
“No inf checks were recorded for this optimizer.“ AssertionError:错误解决
"No inf checks were recorded for this optimizer." 错误解决原创 2022-03-19 18:32:36 · 5672 阅读 · 0 评论 -
机场飞机无法顺利降落的原因排查
机场飞机无法顺利降落的关键原因就在于时间不对,你想,如果你的时间是正确的北京时间,那飞机怎么可能不降落呢?所以,让飞机降落的关键就在于,将时间调整为正确的北京时间。原创 2022-03-15 18:43:57 · 489 阅读 · 0 评论 -
‘>‘ not supported between instances of ‘list‘ and ‘float‘错误排坑
今天在编程序的时候,运行下面的代码pred_result[pred_result > 0.5] = 1发生了相应的报错TypeError: '>' not supported between instances of 'list' and 'float'仔细查看一下pred_result的类型,发现pred_result是np.array类型呀pred_resultarray([0.38331976532936096, 0.38331976532936096, 0.3833197原创 2022-03-07 17:08:30 · 5949 阅读 · 0 评论 -
深度学习模型训练完之后预测的数据差不多(模型预测输出数据一样)(训练结果一样)
模型训练之后预测的数据内容差不多,第一种可能性是你模型有问题,这种先不谈第二种可能性是某一种数据的分布过多造成数据分布不均匀,比如你的数据集之中特别多的类别0,1,2,3,此时如果数据集中某一类别数量特别多,比如类别0特别多,这种分布不均匀的现象就有可能导致最后预测出来的结果都差不多。...原创 2021-12-14 15:08:04 · 13850 阅读 · 4 评论 -
深度学习梯度累积到最后卡住了
进行到最后 jupyter notebook进度条停住了最主要的是最后循环退出来的时候需要梯度更新 for batch_ids,batch_token,batch_text,batch_offset,batch_attention_mask,batch_label in tqdm(train_loader): batch_token = batch_token.to(device) batch_attention_mask = batch_a原创 2022-02-25 22:57:35 · 1251 阅读 · 0 评论 -
kaggle Notebook Threw Exception问题解决
今天在提交kaggle内容的时候,发现了一个这样的报错Notebook Threw Exception: While rerunning your code, your notebook hit an unhandled error. Note that the hidden dataset can be larger/smaller/different than the public dataset.经过排查代码之后,发现相应的错误这里发生错误的根本原因是kaggle的test文件夹之中的数据集可原创 2022-02-15 14:45:37 · 4330 阅读 · 0 评论 -
ubuntu上下左右wasd错乱
1.如果键盘的上下左右变成了ASDW,可以按快捷键Fn+W 切换回来。此种方法适用于大多数品牌。2.如果键盘的上下左右变成了ASDW,可以按快捷键Fn+空格 切换回来。此种方法适用于达尔优等少数品牌!3.如果键盘的上下左右变成了ASDW,可以按快捷键Fn+Win 切换回来。此种切换方式适用于苹果键盘等少数品牌。ps:如果ubuntu系统中的进程变成了网格状,那么使用Fn+Win切换回来...原创 2022-02-13 21:21:00 · 3944 阅读 · 0 评论 -
CUDA error: device-side assert triggered CUDA kernel errors问题解决
今天在写pytorch代码的时候,报了这样的一个错误CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.For debugging consider passing CUDA_LAUNCH_BLOCKING=1.这个问题的解决只要在前面加原创 2022-01-05 16:46:24 · 9138 阅读 · 0 评论 -
预训练之后分数较低排查错误
达观杯预训练之后分数较低使用标准的tensorflow中的预训练过程进行比较最近在预训练完达观杯基于大规模预训练模型的风险事物标签识别的题目之后,发现分数较低,排查错误的过程整理为一篇对应论文。使用标准的tensorflow中的预训练过程进行比较这里我们首先使用tensorflow之中的微调过程进行比对,训练的结果如下Epoch 1/202021-09-19 16:34:15.721296: I tensorflow/stream_executor/cuda/cuda_blas.cc:1760]原创 2021-09-19 20:26:01 · 1984 阅读 · 0 评论 -
预训练之后微调出现的参数一致(总结:模型训练输出一致有模型的参数问题或者模型的结构问题)
预训练之后微调参数一致设想问题1,后面的padding出现问题今天训练之后发现了相应的问题,即预训练之后微调出现的参数一致。设想问题1,后面的padding出现问题inputs = {'input_ids': tensor([[ 2, 136, 4, 149, 149, 38, 171, 4, 2062, 3, 16, 23, 148, 4, 8249, 3], [ 2, 33, 3044, 130,原创 2021-09-11 21:45:07 · 553 阅读 · 1 评论 -
不同的参数经过模型之后输出的参数相同时,则模型训练之后输出的参数必然相同
今天在训练模型的时候出现了状况,不同的参数经过模型之后输出的预测数值相同。model.eval()output = model(torch.tensor([[ 101, 403, 2033, 2011, 2151, 1003, 2017, 1005, 1040, 102], [ 101, 102 , 103, 104 , 105 , 106 , 107 , 108 , 109 , 112]]), torch.tensor([原创 2021-09-09 11:25:09 · 834 阅读 · 0 评论 -
模型参数无法更新的原因:训练、预测中加入了print函数
今天下午编写代码的时候,发现不同的输入输出内容几乎一致for epoch in range(1): print('epoch {}'.format(epoch+1)) train_loss = 0 train_acc = 0 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") model.train() model = model.to(device) mod原创 2021-08-30 18:03:13 · 4103 阅读 · 0 评论 -
预训练的时候排坑
接着分析data_collator.py之中的__call__函数的后续的内容if self.mlm: #special_tokens_mask = None batch["input_ids"], batch["labels"] = self.mask_tokens( batch["input_ids"], special_tokens_mask=special_tokens_mask )这里面需要进入self.mask_tokens去调用 def m原创 2021-08-24 22:52:21 · 666 阅读 · 0 评论 -
sh run.sh指令报错
最近运行代sh run.sh的时候总是报错替代方法:换个电脑配置好环境运行原创 2021-07-29 20:40:25 · 1879 阅读 · 0 评论 -
InvalidArgumentError: 2 root error(s) found. (0) Invalid argument: Can not squeeze dim[1], expect
今天在跑相应程序的时候,出现了如下的错误:仔细排查之后发现,对应的一个批次处理数据的内容为d = ([array([[ 101, 3173, 4538, ..., 4500, 1501, 2421], [ 101, 1352, 3352, ..., 0, 0, 0], [ 101, 1298, 1744, ..., 0, 0, 0], ..., [ 101, 3736, 5722, ..., 0,原创 2021-06-21 15:32:16 · 1428 阅读 · 0 评论 -
python爬虫 requests异常requests.exceptions.ConnectionError: HTTPSConnectionPool Max retries exceeded
错误提示:requests.exceptions.ConnectionError: HTTPSConnectionPool(host='baike.baidu.com', port=443): Max retries exceeded with url: https://baike.baidu.com/item/%E5%88%98%E5%BE%B7%E5%8D%8E/114923 (Caused by NewConnectionError('<urllib3.connection.Verifie转载 2021-06-09 08:22:53 · 2135 阅读 · 0 评论 -
报错内容:RecvAsync is cancelled.(来源于lstm网络层无法被正常地进行调用)
CancelledError: [Derived]RecvAsync is cancelled.[[{{node Nadam/Nadam/update/ReadVariableOp_4/_187}}]][[gradient_tape/sequential/embedding/embedding_lookup/Reshape/_176]] [Op:__inference_train_function_19125]Function call stack:train_function将对应的cudnn版原创 2021-06-07 12:44:41 · 259 阅读 · 0 评论 -
TypeError: Expected float32 passed to parameter ‘y‘ of op ‘Equal‘, got ‘auto‘ of type ‘str‘ instead
今天发现了一个对应的错误TypeError: Expected float32 passed to parameter 'y' of op 'Equal', got 'auto' of type 'str' instead源代码为model.compile(optimizer='adam', loss=tf.keras.losses.MeanSquaredError)将对应内容修改为model.compile(optimizer='adam', loss=tf.keras.losses.Mea原创 2021-06-05 18:08:08 · 5814 阅读 · 2 评论 -
tensorflow报错问题‘int‘ object has no attribute ‘shape‘解决
最近编写程序的时候发现了下面的这样一个错误:后来发现是结果的标签出现了错误,在model之中本身定义的循环内容如下:def cycle(self,random=True): while True: for d in self.__iter__(random): print('d = ') print(d) yield d这里输出的d的内容为报错的原因在于这里的标签只有一个相应的数值,与d中的输入数值不匹原创 2021-05-31 15:33:42 · 7622 阅读 · 0 评论 -
排错误:Could not compute output KerasTensor
今天写代码的时候发现以下报错内容---------------------------------------------------------------------------AssertionError Traceback (most recent call last)<ipython-input-12-741fcb121fdb> in <module> 1 train_generator = DataG原创 2021-05-31 17:03:49 · 2766 阅读 · 0 评论