人工智能
文章平均质量分 71
人工智能框架安装,学习,算法理论学习
Zjhao666
泰山不择细壤,故能成其大;江河不择细流,故能成其深。
展开
-
Transformers北大源
使用方法,加一个mirror='https://mirrors.pku.edu.cn/hugging-face-models/'的参数就好了。前言:听说清华和中科大的源都挂了?解决方案:用北大源。原创 2022-08-15 14:59:20 · 649 阅读 · 0 评论 -
torch.gather简单教程
形式:C=A.gather(dim,B)其中A为原始矩阵,B为下标矩阵,C为结果矩阵。函数目的:借助下标依次递增的潜规则,取出原始矩阵A中,与下标矩阵B对应的部分。注:C与B的维度一致——体现“对应性” A与B的维度不需要一致举例,对于原始矩阵A取下标矩阵C=[[2,1,0]],我们进行如下操作解释:9,7,5产生的原因——dim取0,表示第0维取对应的下标数字,而其他维度对应递增即可。因为一共就2个维度,所以[[2,1,0]]对应的,其实就是第0维度之外的(剩下原创 2022-02-28 15:51:14 · 864 阅读 · 0 评论 -
torch、tensorflow1 GPU测速代码python3(MNIST,简易版)
1、torchimport torchimport torch.nn as nnimport torch.nn.functional as Fimport numpy as npimport matplotlib.pyplot as pltfrom torch.autograd import Variableimport time# print start timestart = time.time()print("Start time = " + time.ctime())#原创 2021-10-26 09:35:23 · 918 阅读 · 0 评论 -
深度学习训练降低显存分析
这一篇博客主要是帮助分析显存为什么炸裂的,不单独提具体的技术。技术可以参见另一篇博客深度学习训练降低显存指南_Zjhao666的博客-CSDN博客首先,从总体来看,显存的增长情况大致可以分为两类:线性型:以epoch或更短的batch为单位,显存整体上呈线性缓慢增长。 波动型:没有固定的周期,短期内显存急剧增加,然后裂开了。其次,从显存的分配来看,分配对象一般分为两类:模型变量:主要是模型的固定参数(显存固定),以及一些如结构形的增量参数(显存渐增) 数据变量:包括模型的输入输出,原创 2021-08-19 20:31:28 · 590 阅读 · 0 评论 -
Julia简单教程
一、基本数据类型和运算符查看数据类型julia> typeof(3)Int64julia> typeof(3.2)Float64julia> typeof(2 + 1im)Complex{Int64}julia> typeof(2 // 3)Rational{Int64}翻译 2021-06-14 14:36:57 · 2722 阅读 · 0 评论 -
深度学习训练降低显存指南
一、小模块API参数inplace设置为True比如:Relu()有一个默认参数inplace,默认设置为False,当设置为True时,通过relu()计算时的得到的新值不会占用新的空间而是直接覆盖原来的值,这也就是为什么当inplace参数设置为True时可以节省一部分内存的缘故。...原创 2021-06-04 14:38:24 · 3097 阅读 · 3 评论 -
Docker使用指南
-Docker概念及基本操作docker环境与普通环境对比图docker概念转换图静止的是镜像(image)查看本地镜像:docker image ls参数:REPOSITORY:镜像名——用户名/(可选)+镜像名TAG:镜像版本号IMAGE ID:镜像idCREATED:创建时间SIZE:尺寸运行的是容器(container)查看本地容器:docker container ls参数:CONTAINER ID:容器idIMAGE:当前运行容原创 2020-11-22 13:55:09 · 386 阅读 · 0 评论 -
一个很“睿智”的远程连接服务器方案
现状服务器不允许上外网,也不允许被内网穿透 但可以通过连通一台win10,蹭win10的热点上公网,而服务器本身是内网ip。 win10热点机也不允许内网穿透所以架构长这样。服务器<->win10肉机<->公网目标在不违反现状设定的情况下,在公网上可以操纵服务器实现远程代码的部署运行。工具NATAPP隧道穿透技术,通过token,借助第三方的跳板,实现在公网上访问只有内网ip的主机。优点:不要求被连接主机有公网ip缺点:付费(9元/月,超过7原创 2020-07-16 11:31:40 · 621 阅读 · 0 评论 -
ubuntu18.04利用docker安装NVIDIA驱动、cuda、cudnn、tensorflow、torch等深度学习环境
目录前言一、Docker安装备份sources.list并新建阿里源镜像填入(最近清华源好像有问题)更新源使之生效二、NVIDIA GPU 驱动安装驱动安装检查安装结果三、Docker安装docker安装检查安装结果为避免docker操作必须要sudo,将当前用户加入docker用户组(${YOUR_NAME_HERE}处填当前用户名)前言docker一词的原意为“码头的装卸工”,其开发的目的是为解决广大程序员在开发、测试、部署维护等不同场景不可避免的原创 2020-06-06 17:16:25 · 5783 阅读 · 0 评论 -
用pytorch学习github写了个picture caption的AI项目的经验总结
目录1 整个项目的架构1.1 文件名和文件作用1.2 创建项目的整体思路2 各部分文件的经验总结2.1 主函数 main.py2.1.1 命令行参数argparse.ArgumentParser2.1.2 main.py文件的一般逻辑2.1.3可用的gpu环境部署2.1.4main函数承载主要逻辑2.1.5train函数训练2.1.6...原创 2019-06-22 15:39:40 · 4050 阅读 · 4 评论 -
本科AI学习建议
注:ctrl+点击进入超链接查看网页;crtl +k查看超链接指向url(部分链接请复制打开)。一、总体学习架构二、各部分讲解及资料2.1 编程2.1.1 语言需要良好的编程能力,重点是python,其次是C++和java,C学过就不提了,经常出现在github里的lua和新兴的julia有余力者也要看下,最后是现在有点过气的MATLAB和R。特别需要注意的...原创 2019-11-27 18:23:15 · 521 阅读 · 3 评论 -
Detect rumors using time series of social context information on microblogging websites
Detect rumors using time series of social context information on microblogging websites原文地址ABSTRACT从在线社交网络上,尤其是微博网站上自动检测谣言是一个重要的研究课题。大量已有的关于谣言的检测关注于对微博内容、使用者和传播的特征进行建模,但忽略了在消息传输这一时间过程中,社会环境特征的变化的重要...翻译 2019-03-22 16:56:25 · 1589 阅读 · 0 评论 -
记一次徐宗本院士的讲座——大数据分析技术图谱与研究举例
主讲嘉宾:徐宗本院士 主持人:申恒涛教授海报原文: 大数据分析与处理依赖特定的计算模式与全新的计算方法(称为大数据算法),设计创新的大数据计算模式与大数据算法是大数据的最核心技术,也是一个全新的领域。本报告引进大数据算法的谱系,并引进最优化理论与方法中的ADMM(alternating direction method of multipliers)作为大数据计算模式与算法设计...原创 2019-03-17 16:40:02 · 1774 阅读 · 0 评论 -
几种优化算法的读书笔记——梯度下降、牛顿法、拟牛顿法、随机梯度下降、AdaGrad、RMSProp、Adam及选择优化算法的建议
文章目录1 梯度下降1.1 特点1.2 思想1.3 数学基础1.4 具体算法2 牛顿法和拟牛顿法2.1 特点2.2 牛顿法2.2.1 数学基础2.2.2 思想2.2.3 具体算法2.3 拟牛顿法2.3.1 数学基础2.3.2 思想2.3.4 具体算法2.4 DFP算法2.4.1 数学基础&amp;amp;amp;&amp;amp;amp;思想2.4.2 具体算法2.5 BFGS算法2.5.1 特点2.5.2 数学基础2.5.3 ...原创 2019-03-11 18:13:45 · 1655 阅读 · 0 评论 -
win10系统人工智能框架安装指南及常见问题解决方案——anaconda、python27、python35、numpy、tensorflow-gpu、matplotlib、caffe及中间的相关插曲
前言本来这篇文章是可以不用写的,如果NVIDIA给linux设计了RTX20系列notebook驱动的话,但可惜没有(现在有了,233),所以新买的笔记本无法使用caffe和TensorFlow的gpu版本。如果用cpu版本,i7还比不上MX150显卡,所以,有必要研究一下如何在现有的win10系统上安装AI的相关框架和驱动等配套程序(事实证明这也折腾了两三天,主要是caffe折腾的,这货在...原创 2019-03-07 21:33:28 · 2422 阅读 · 0 评论 -
ubuntu下同时安装ipython2和ipython3
这个我在我机子上试过没有问题.ipython3安装在ubuntu上应该都问题不大,因为有python3的支持,但是ipython2的安装多少都有些问题因为ipython高版本不支持python2.7,而ipython2若安装不当又会和ipython3冲突....经过一番查阅之后,我找到一个能够同时安装ipython2和ipython3的方式:先安装ipython3,再安装ipython...原创 2019-03-04 14:14:51 · 1330 阅读 · 0 评论 -
caffe框架学习六——Editing model parameters
英文原文https://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/net_surgery.ipynb任务How to do net surgery and manually change model parameters for custom use.# -*- coding: UTF-8 -*-impo...原创 2019-03-04 10:37:05 · 243 阅读 · 0 评论 -
caffe框架学习五——Multilabel Classification with Python Data Layer
英文原文https://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/pascal-multilabel-with-datalayer.ipynb任务Multilabel classification on PASCAL VOC using a Python data layer.# -*- coding: U...原创 2019-03-03 19:17:29 · 208 阅读 · 0 评论 -
ubuntu系统人工智能框架安装指南及常见问题解决方案——numpy、sklearn、TensorFlow、opencv、caffe2、caffe及中间的相关插曲
Table of Contents1 申明2 相关框架的安装2.1 准备工作2.2 numpy2.3 sklearn2.4 TensorFlow2.5 opencv2.6 caffe2(纯cpu版)2.7 caffe(重头戏)2.7.1 现有的相关配置(因机而异)2.7.2 需要的配置(基于现有配置和其相互关联)2.7.3 安装NVIDIA GPU驱...原创 2019-02-20 20:34:03 · 2180 阅读 · 0 评论 -
caffe框架学习四——Off-the-shelf SGD for classification
英文原文:https://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/brewing-logreg.ipynb任务Use Caffe as a generic SGD optimizer to train logistic regression on non-image HDF5 data.# -*-codi...原创 2019-03-03 13:36:25 · 479 阅读 · 0 评论 -
caffe框架学习二——Learning LeNet
英文版原文 https://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/01-learning-lenet.ipynb任务Define, train, and test the classic LeNet with the Python interface.教程代码from caffe.proto impo...原创 2019-03-02 14:59:27 · 242 阅读 · 0 评论 -
caffe框架学习三——Fine-tuning a Pretrained Network for Style Recognition
英文版原文https://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/02-fine-tuning.ipynb任务Fine-tune the ImageNet-trained CaffeNet on new data.# -*- coding: UTF-8 -*-from caffe.proto impor...原创 2019-02-26 15:51:47 · 265 阅读 · 0 评论 -
caffe框架学习一——Image Classification and Filter Visualization
英文原文地址https://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/00-classification.ipynb任务Instant recognition with a pre-trained model and a tour of the net interface for visualizing feat...原创 2019-02-25 14:12:18 · 584 阅读 · 0 评论