深度学习
文章平均质量分 70
兰缕启林
这个作者很懒,什么都没留下…
展开
-
语言模型中ptb数据集处理方法 讲解darts中rnn部分数据处理方法解读
为了将文本转化为模型可以读入的单词序列,需要将这10000个不同的词汇分别映射到0~9999之间的整数编号。下面的辅助程序首先按照词频顺序为每个词汇分配一个编号,然后将词汇表保存到一个独立的vocab文件中。数据集共包含了9998个不同的单词词汇,加上稀有词语的特殊符号 和语句结束标记符在内,一共是10000个词汇。数据的下载地址:http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz。以下是文件rnn/data.py中的代码。原创 2023-07-06 21:26:06 · 1173 阅读 · 0 评论 -
python深度学习指定使用某块gpu,CUDA_VISIBLE_DEVICES
如果代码中很多地方需要指定使用gpu,原本写法并未指定具体某一块,这样在改代码的时候会十分麻烦,我们可以通过CUDA_VISIBLE_DEVICES来指定某块gpu,这样,在程序看来,是只有指定的这块gpu的,而其他gpu都不可见了,也就不会使用其他gpu。运行python脚本时,使用如下这种方法,指定gpu。另一种方法是通过在python文件运行中指定。原创 2022-12-20 15:01:57 · 3433 阅读 · 1 评论 -
一文带你读懂深度学习中的张量(tensor)是什么,它的运算是怎样的,如何理解张量,张量的维度,浅显易懂
在多维 Numpy 数组中,也叫张量(tensor)。一般来说,当前所有机器学习系统都使用张量作为基本数据结构。张量这一概念的核心在于,它是一个数据容器。它包含的数据几乎总是数值数据,因此它是数字的容器。你可能对矩阵很熟悉,它是二维张量。张量是矩阵向任意维度的推广[注意,张量的维度(dimension)通常叫作轴(axis)]仅包含一个数字的张量叫作标量(scalar,也叫标量张量、零维张量、0D 张量)。在 Numpy中,一个 float32 或 float64 的数字就是一个标量张量(或标量数组)。..原创 2022-07-12 15:51:02 · 23472 阅读 · 2 评论