![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
訾尤
秋去冬来,春暖花开,有人离去,有人归来!
展开
-
Pytorch安装全攻略
在桌面右击选择NVIDIA控制面板点击后点击帮助下拉菜单下的系统信息如图所示查看自己电脑GPU对应的CUDA版本到英伟达官网下载自己电脑对应版本的CUDA(如上图所示我的电脑对应的是CUDA10.1),并下载其对应的CUDNN,然后安装(具体安装步骤自己百度)。CUDA以及CUDNN安装后,在PATH中添加如下环境变量:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\libnvvpC:\Program Files\NVIDIA .原创 2020-09-23 09:35:46 · 343 阅读 · 0 评论 -
HadoopLZO压缩支持详细配置
1 LZOyum -y install lzo lzop2 hadoop-lzo1)先下载lzo的jar项目https://github.com/twitter/hadoop-lzo/archive/master.zip2)下载后的文件名是hadoop-lzo-master,它是一个zip格式的压缩包,先进行解压,然后用maven编译。生成hadoop-lzo- 0...原创 2019-11-15 14:44:39 · 263 阅读 · 0 评论 -
Ununtu下运行 pyspark找不到python问题解决办法
安装完saprk后想试试pyspark,结果在终端输入pyspark后报错:考虑是python路径设置的问题,在终端中输入python,提示未找到python命令,但已安装python3(事先未安装python,是linux自带的python,linux版本为ubantu 18 04.1),键入python3命令后能够进入python解释器,说明python是安装好的。问题显而易见了,py...原创 2019-05-14 22:29:05 · 1419 阅读 · 4 评论 -
jupyter notebook中使用pyspark环境配置以及导入SC报错问题解决
在配置好spark运行环境以后,在其shell里运行pyspark代码不如jupyter notebook中方便所以记录一下环境搭建过程1.首先在高级系统设置中新建环境变量如表1所示:其中前两个为自己电脑上spark和hadoop的安装位置,设置好后将电脑重启;2.进入CMD中pip 安装findspark 具体指令为: pip install findspark;3.再次进入CMD输...原创 2019-04-18 13:55:26 · 2653 阅读 · 5 评论