- 博客(13)
- 资源 (42)
- 收藏
- 关注
RSS订阅
原创 大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境
Centos7上搭建hadoop3.2.1分布式集群一、安装虚拟机VMware Workstation安装CentOS7.4服务器：https://blog.csdn.net/zhengzaifeidelushang/article/details/102557805准备三台CentOS7服务器,三台服务器主机名和IP地址如下：主机名IP地址bigdata1192.168.239.131bigdata2192.168.239.132bigdata3192.16
2020-04-08 16:00:59
1336
1
原创 python实现时间加减
datetime当前时间import datetime# 当前日期时间now=datetime.datetime.now()print(now)print(type(now))#<type 'datetime.datetime'>把时间格式化为字符串由日期格式转化为字符串格式的函数为: datetime.datetime.strftime()# strftime把...
2020-04-27 10:49:04
2777
原创 pyspark之DataFrame操作大全
Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。DataFrame().columnsfrom pyspark.sql import Rowdf = sc.parallelize([ Row(name='Alice', age=5, height=80), Row(name='...
2020-04-26 23:46:39
3007
原创 pyspark读写mysql数据库
from pyspark.sql import SparkSessionfrom pyspark.sql.types import StructType, StructField, LongType, StringType # 导入类型data = spark.sparkContext.parallelize([ ('2080-2090-5060','5-7-8','lens_bi...
2020-04-26 11:40:59
1111
原创 hive根据条件删除指定分区数据
hive删除数据删除指定分片不符合条件的数据只会保留日期为’2020-04-24 11:39:46’的数据insert overwrite table dw.lens.lens_bianzu_info_status partition(date='20200423' ,hour='21')select site_code,site_id,task_no,task_date,task_shi...
2020-04-24 16:10:34
7395
1
原创 pyspark读取mysql、sqlserver数据库数据，pymysql往mysql数据库中写入数据
pyspark读取mysql、sqlserver数据库数据pymysql往mysql数据库中写入数据示例代码一import datetimeimport pymysql#连接sqlserver数据库获取数据url='jdbc:sqlserver://10.178.13.1:1433;DatabaseName=DW'driver='com.microsoft.sqlserver.jd......
2020-04-24 09:16:42
1272
原创 CentOS7修改文件最大打开数
CentOS7修改文件最大打开数修改limits.conf文件vim /etc/security/limits.conf* soft nofile 204800* hard nofile 204800* soft nproc 204800* hard nproc 204800修改20-nproc.conf文件vim /etc/security/limits.d/20-nproc...
2020-04-15 19:46:56
5862
原创 CentOS7上安装Jupyter notebook使用pyspark连接spark集群
Jupyter notebooks安装教程安装Jupyter#安装Jupyterpip install jupyter首先打开python终端,生产jupyter登陆密码登陆密码设置为root-123456接下来生成密钥openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycer...
2020-04-13 23:52:13
1230
原创 python版本管理工具pyenv安装教程
python版本管理工具pyenv安装教程pyenv会管理不同版本的Python，可以随时切换全局的Python版本，可以Python2与Python3并存，并且能够指定项目的Python版本下载pyenvpyenv下载地址：https://github.com/pyenv/pyenv安装依赖yum install zlib-devel bzip2-devel openssl-deve...
2020-04-13 21:47:28
851
原创 SQL Server 2019 Linux安装教程
CentOS7上sqlservr2019安装教程sqlserver2019下载地址：https://packages.microsoft.com/rhel/7/mssql-server-2019/mssql-server-15.0.4033.1-2.x86_64.rpm安装sqlserver2019,需要先安装依赖cyrus-sasl-gssapirpm -ivh mssql-serve...
2020-04-09 00:14:11
2050
原创 MySQL 8.0.19 CentOS7离线安装教程
CentOS7上mysql-8.0.19安装教程下载安装包mysql下载地址https://dev.mysql.com/downloads/mysql/查看卸载mariadb查看mariadb的安装包rpm -qa | grep mariadb卸载安装包rpm -e mariadb-libs-5.5.56-2.el7.x86_64 --nodeps 命令卸载 mariadb...
2020-04-08 18:03:30
1206
原创 CentOS7下安装SVN服务器，window客户端连接svn服务器
SVN服务器安装svnyum install subversion添加环境变量which svn/usr/bin/svnexport PATH=$PATH：/usr/bin/svn查看svn版本svnserve --version查看svn运行状态和端口号ps aux|grep svn重启SVNpkill svnserve创建svn仓库mkdir /moudl...
2020-04-06 00:35:14
396
Debezium Server offset编辑器
2023-10-19
labview数据采集系统
2022-10-09
ansible-flume-auto-deployment.tar.gz
2021-07-28
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar
2020-11-16
Elasticsearch-head+grunt+node-v12.11.1.zip
2019-10-11
机械建模机械建模各章节课程作业、大作业以及Matlab实现代码
2019-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人