深度学习
文章平均质量分 73
GeekZW
先做后说,说到做到;淡泊明志,宁静致远
唐奖-终身制
展开
-
Hugging Face——大规模预训练模型下载
本文主要记录如何在huggingface官网上下载模型,并加载。重点是前者。huggingface官网:https://huggingface.co huggingface的基本操作:https://huggingface.co/welcome官网已说明:如果想命令行快速下载模型,需要提前安装好git-lfs环境。其他参考链接:使用Hugging Face管道轻松应用NLP预训练模型1、安装git-lfsGit LFS 是 Github 开发的一个 Git 的扩展,用于实现 Git原创 2021-07-16 01:52:48 · 14713 阅读 · 4 评论 -
Tensorflow&Keras下的GPU使用机制
Tensorflow&Keras下的GPU使用机制写在前面:文章出自于https://ibz.bz/2019/05/17/787053.html,感谢原作者的贡献。 写作目的:结合自己踩过的坑,查了太多解决方案,记点笔记。1.问题描述 在使用TensorFlow&Keras通过GPU进行加速训练时,有时在训练一个任务的时候需要去测试结果,或者是需要并行训练数据的时候就会显示OOM显存容量不足的错误...原创 2021-06-30 23:55:10 · 1562 阅读 · 2 评论 -
深度学习——如何去除警告
深度学习——如何去除警告相信部分强迫者在写代码的时候,很难容忍一大堆警告的出现,尤其是深度学习框架:Tensorflow与Keras。下面分别提供两者的去处警告方法。警告的本质:包版本兼容性问题,版本不断地在更新,又要做到向下兼容,所以对于版本不同导致的差异性写法(函数、参数等等)都会给出提醒。个人建议:非强迫症的朋友,还是不要注释掉警告,便于以后排查问题。当然,如果是本地离线项目代码,注释掉注释代码就OK;如...原创 2021-04-12 23:28:22 · 852 阅读 · 0 评论 -
Python——PyTorch的安装
Python——PyTorch的安装越来越多的人选择PyTorch的深度学习框架了,那么这么包如何安装呢?注意,它不能像Tensorflow或者Keras那样安装了,否者会报错的。官网给了具体说明,咱们移步:PyTorch官网注意:查看cuda版本: 方法1: cat /usr/local/cuda/version.txt方法2: nvcc --version 查看cudnn版本:...原创 2021-01-15 01:06:07 · 1860 阅读 · 1 评论 -
NLP——如何批量加载数据
NLP——如何批量加载数据问题背景:利用Bert、Albert、Roberta或腾讯词向量等预训练模型,去微调或者特征集成各类NLP子任务,并转存为pb模型后,如何进行批量预测,以提升性能,缩短耗时呢?当然是batch预测了!为了方便以后使用,个人抽成一个简单的类。资源:源代码:改自苏神的bert4keras源码文件夹examples中的情感分析例子 如果不熟悉子类继承父...原创 2020-10-14 22:40:51 · 1274 阅读 · 2 评论 -
NLP——常用工具汇总
NLP——常用工具汇总整理些可能会用到的工具:1. 中文分词工具LAC:https://github.com/baidu/lacLAC全称Lexical Analysis of Chinese,是百度自然语言处理部研发的一款联合的词法分析工具,实现中文分词、词性标注、专名识别等功能。该工具具有以下特点与优势:效果好:通过深度学习模型联合学习分词、词性标注、专名识别任...原创 2020-09-16 20:48:47 · 3140 阅读 · 0 评论 -
TensorBoard可视化的实战练习
TensorBoard可视化的实战练习 TensorFlow使用 TensorBoard 来提供计算图形的图形图像,这使得理解、调试和优化复杂的神经网络程序变得很方便。另外,TensorBoard 也可以提供有关网络执行的量化指标,如tensor(张量/节点)、图结构与...原创 2019-08-25 20:43:26 · 647 阅读 · 0 评论 -
Python2-调用Face++的接口进行人脸检测
Python2-调用Face++的接口进行人脸检测参考博客: Python调用face++人脸检测API结果如下:检测结果如下:Python2的运行代码如下:# -*- coding:utf-8 -*-# python 2.7import cv2import urllib2im...原创 2019-02-16 17:38:22 · 684 阅读 · 0 评论 -
Python实现BMP图片与XML文件的统一重命名
Python实现BMP图片与XML文件的统一重命名 做深度学习的朋友可能经常遇到,在用LabelImg(或其它标注软件)标注了所有的数据之后,为方便训练,需要重命名。为什么?主要原因在于:在直接选中文件复制的时候,可能遇到命名重复的情况,如果选择两者保留(例如1.bmp与1(2).bmp),可能出现图片与xm...原创 2018-12-12 13:11:15 · 1827 阅读 · 2 评论 -
AlexNet分类学习
AlexNet分类学习第一阶段:利用训练好的文件(如:bvlc_alexnet.npy),测试图片。文件链接:https://pan.baidu.com/s/1zz6D6q0qWyk8yD1EeUQXmQ 密码:b64z内容如下:举例说明:测试图像集:测试结果:代码:import osimport cv2import numpy as npimport tensorflow as tfim...原创 2018-05-28 23:05:12 · 4893 阅读 · 3 评论 -
Tensorflow训练的模型,如何保存与载入?
Tensorflow训练的模型,如何保存与载入?目的:学习tensorflow框架的DNN,掌握如何将tensorflow训练得到的模型保存并载入,做预测?内容:1、tensorflow模型保存与载入的两种方法2、实例分析1——线性回归3、实例分析2——mnist分类一、tensorflow模型保存与载入的两种方法参考网址:https://blog.csdn.net/thriving_fcl/ar...原创 2018-05-15 15:49:56 · 9018 阅读 · 3 评论