MZ的专栏

文章目录一、简介二、注意力机制2.1 NLP中的注意力2.2 自注意力2.2.1 点积（Dot-Product）2.2.2 具体计算过程：2.3 多头注意力三、位置编码（Positional Encoding）四、残差和前馈(Feed Forward)4.1 为什么残差[3]4.2 前馈五、训练-模型的参数在哪里六、参考文献一、简介基于假设：一个词在句子中的意思，与上下文（语境）有关。与哪些词...

文章目录简介anaconda安装channel/仓库配置CUDA&驱动虚拟环境安装/卸载软件相关pytorchtensorflow简介anaconda是一个python管理工具，可以安装和管理依赖包，自带很多基础科学计算常用包，其中conda工具可以用来创建多个虚拟的环境，在不同的环境可以安装不同的软件，比如使用不同版本的tensorflow/torch等。外网环境可以配置国内的an...

文章目录一、pytorch数据输入1. Dataset2. DataLoader二、Dataloader参数汇总2.1 sampler:分布式训练需DistributedSampler2.2 collate_fn:将batch的数据重新组装2.3 pin_memory=True:提高数据从cpu到gpu传输效率三、DataLoader的并行3.1 index_queue 要处理的数据下标3.2 ...

文章目录简介一、学习率相关1.1 warmup1.2 lr decay1.3 二次训练二、shuffle-训练时的数据打乱三、流程相关-Estimator后记简介bert官方代码google-research/bert中有很多很强的设定，稍有改动就会导致结果很差。此文档简单总结如下。google-research/bert版本：d66a146该文档撰写时间：2019年4月11日主要基于任...

Linux(CentOS) Wget安装配置用户Oracle JDK

HDFS列式存储Parquet与行式存储（Avro）Benchmark(hadoop, Spark)

Finally，final，finalize        Finally： 释放资源（内存之外的，打开的文件、连接、屏幕上的图形，，）            ①总会执行②非后台线程结束，后台线程被强关，不会执行finally                    ③当try和catch中有return时，finally在return之后执行，但是返回值不会改变（final

原理是这样的 svn服务器一般放在公共的服务器上，大家连这个服务器，在MyEclipse上使用svn控件 可以下载svn上的项目至本地，所以很多公司将开发要用到的软件都放在svn上，有同事来只要连上svn 就可以把需要的东西下下来了更新是指 服务器上变动了的 而你本地没有变动，需要你更新， update更新提交是指 服务器上没有的，也就是你改过的东西，你需要

使用git clone从github.com下载，报了个ssl错误。Cloning into cancan...error: SSL certificate problem, verify that the CA cert is OK. Details:error:14090086:SSL routines:SSL3_GET_SERVER_CERTI

【Maven】【gradle】java.io.IOException: No locks available 常见解决方案

思路简述：一个全排列其实就是一条把数组无重复遍历一遍的DFS过程思路一：简单回溯，1. 一个List存遍历路径，从第N个“结点”到第N+1个“结点”是只需要找一个未遍历的结点就行2. 一个关键点在于查找 下一个可遍历“结点”， 可以用SET辅助List存放已遍历结点，List中存遍历书序（文中方法未用SET，复杂度较高，但是可以在Leetcode上AC）；也可用一个数据结构完成：L

根据现在的了解，java泛型默认是不支持向上转型的，但是可以通过泛型参数实现向上转型List> re = new ArrayList>(); //这样编译通过 类型不匹配，无法转型List> re = new ArrayList>();//但是这样就可以，因为添加了泛型参数，任何继承List的类都没有问题