- 博客(12)
- 资源 (4)
- 收藏
- 关注
原创 HDFS列式存储Parquet与行式存储(Avro)性能测试-Benchmark(hadoop, Spark, Scala)
HDFS列式存储Parquet与行式存储(Avro)Benchmark(hadoop, Spark)
2015-08-17 15:12:04 11496
原创 transformer语言模型原理解读
文章目录一、简介二、注意力机制2.1 NLP中的注意力2.2 自注意力2.2.1 点积(Dot-Product)2.2.2 具体计算过程:2.3 多头注意力三、位置编码(Positional Encoding)四、残差和前馈(Feed Forward)4.1 为什么残差[3]4.2 前馈五、训练-模型的参数在哪里六、参考文献一、简介基于假设:一个词在句子中的意思,与上下文(语境)有关。与哪些词...
2019-05-20 15:59:00 2667 1
原创 Anaconda离线模式(仓库)搭建深度学习环境 cuda&驱动 pytorch pip
文章目录简介anaconda安装channel/仓库配置CUDA&驱动虚拟环境安装/卸载软件相关pytorchtensorflow简介anaconda是一个python管理工具,可以安装和管理依赖包,自带很多基础科学计算常用包,其中conda工具可以用来创建多个虚拟的环境,在不同的环境可以安装不同的软件,比如使用不同版本的tensorflow/torch等。外网环境可以配置国内的an...
2019-05-20 15:49:15 4667
原创 Dataloader重要参数与内部机制
文章目录一、pytorch数据输入1. Dataset2. DataLoader二、Dataloader参数汇总2.1 sampler:分布式训练需DistributedSampler2.2 collate_fn:将batch的数据重新组装2.3 pin_memory=True:提高数据从cpu到gpu传输效率三、DataLoader的并行3.1 index_queue 要处理的数据下标3.2 ...
2019-05-16 17:49:15 24792 1
原创 google-research/bert官方代码中的坑_run_classifier_效果很差原因
文章目录简介一、学习率相关1.1 warmup1.2 lr decay1.3 二次训练二、shuffle-训练时的数据打乱三、流程相关-Estimator后记简介bert官方代码google-research/bert中有很多很强的设定,稍有改动就会导致结果很差。此文档简单总结如下。google-research/bert版本:d66a146该文档撰写时间:2019年4月11日主要基于任...
2019-04-20 16:45:58 5105 5
原创 Java, 基础(面试题)总结(分享-交流)
Finally,final,finalize Finally: 释放资源(内存之外的,打开的文件、连接、屏幕上的图形,,) ①总会执行②非后台线程结束,后台线程被强关,不会执行finally ③当try和catch中有return时,finally在return之后执行,但是返回值不会改变(final
2015-08-17 14:26:52 3521
原创 svn常用概念总结
原理是这样的 svn服务器一般放在公共的服务器上,大家连这个服务器,在MyEclipse上使用svn控件 可以下载svn上的项目至本地,所以很多公司将开发要用到的软件都放在svn上,有同事来只要连上svn 就可以把需要的东西下下来了更新是指 服务器上变动了的 而你本地没有变动,需要你更新, update更新提交是指 服务器上没有的,也就是你改过的东西,你需要
2015-08-17 14:24:54 2622
转载 【verify that the CA cert is OK】git clone出现SSL错误
使用git clone从github.com下载,报了个ssl错误。Cloning into cancan...error: SSL certificate problem, verify that the CA cert is OK. Details:error:14090086:SSL routines:SSL3_GET_SERVER_CERTI
2015-08-17 14:13:48 580
原创 【Maven】【gradle】java.io.IOException: No locks available常见解决方案
【Maven】【gradle】java.io.IOException: No locks available 常见解决方案
2015-08-17 14:07:59 2570
原创 【算法】求全排列 回溯 交换 DFS JAVA
思路简述:一个全排列其实就是一条把数组无重复遍历一遍的DFS过程思路一:简单回溯,1. 一个List存遍历路径,从第N个“结点”到第N+1个“结点”是只需要找一个未遍历的结点就行2. 一个关键点在于查找 下一个可遍历“结点”, 可以用SET辅助List存放已遍历结点,List中存遍历书序(文中方法未用SET,复杂度较高,但是可以在Leetcode上AC);也可用一个数据结构完成:L
2015-04-13 20:12:47 1852
原创 Java 泛型参数 向上转型
根据现在的了解,java泛型默认是不支持向上转型的,但是可以通过泛型参数实现向上转型List> re = new ArrayList>(); //这样编译通过 类型不匹配,无法转型List> re = new ArrayList>();//但是这样就可以,因为添加了泛型参数,任何继承List的类都没有问题
2015-03-31 15:32:03 4894
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人