あずにゃん梓喵的博客

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）1.安装：cmd 输入命令 conda install jupyter notebook2.启动：cmd 输入命令 jupyter notebook3.安装环境自动关联包：conda install nb_conda 该包可以将conda中创建的环境自动关联到你的notebook中。 按下图步骤安装包ipykernel4.在正式使用j...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）报错： Caused by: java.lang.NoClassDefFoundError: org/apache/hbase/thirdparty/com/google/common/cache/CacheLoader Caused by: java.lang.ClassNotFoundException: org.apache.hbase.t...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）链接：https://pan.baidu.com/s/1n5tiOf5fEr2wBMKQsGU3ag 提取码：ie1f 1.Kafka-Eagle官网：https://www.kafka-eagle.org/ 下载页面：http://download.kafka-eagle.org/ kafka-eagle-bin-2.0.0.tar.gz：ht.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）由于sqoop需要通过MR才能把数据从一个数据库导出到另外一个数据库，所以需要启动hdfs和yarn 1.启动 hdfs 集群：（在主节点的机器上执行） cd /root/hadoop/sbin ./start-dfs.sh 2.启动yarn集群：（在主节点的机器上执行） cd /root/hadoop/sbin ./start-.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）sqlplus sqlplus /nolog conn /as sysdba 报错： ORA-01017:用户名/口令无效,登录被拒绝 ORA-01017: invalid username/password; logon denied 解决： 1.把当前root用户添加到下面各种组中： usermod -a -G o.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）yum -y updateyum -y upgrade oracle所有数据库产品都可以下载。其中express版是完全免费的，其他的产品如果商用就要许可证了。另外，没有购买许可证也没有服务。Oracle Database Software Downloads https://www.oracle.com/database/technologie.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）Specified value of sga_target xxxM is too small, needs to be at least xxxM解决：服务器的内存或者虚拟机分配给linux的内存不足，分配大一点...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）ping: baidu.com: 未知的名称或服务解决： vim /etc/sysconfig/network-scripts/ifcfg-ens33 DNS1="223.5.5.5" 然后重启网络 service network restart...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）登录 grafana http://10.3.4.195:3000 使用默认用户名密码（admin/admin）登录报错1： Unauthorized Invalid or expired reset password code path=/api/user/password/reset status=400 path=/api/user/pas.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）Flink 配置3台机器：（注意每台机器最好都拷贝jar包和修改配置文件） 拷贝jar包：cp /data/flink-1.10.1/opt/flink-metrics-prometheus-1.10.1.jar /data/flink-1.10.1/lib 修改配置文件 vim /data/flink-1.10.1/conf/flink-conf...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）1.grafana下载 https://grafana.com/grafana/download https://dl.grafana.com/oss/release/grafana-7.1.0.linux-amd64.tar.gz2.安装 grafana tar zxvf grafana-7.1.0.linux-amd64.tar.gz .

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）当prometheus的server与target不在同一网段网络不通，无法直接拉取target数据，需要使用pushgateway作为数据中转点。flink metric数据流转的流程是 flink metric -> pushgateway -> prometheus。pushgateway 和 prometheus 都装到同一台机器nod.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）flink下载 https://archive.apache.org/dist/flink/ flink-flink版本号-bin-scala_版本号.tgz：只能在flink集群执行 flink-flink版本号-bin-hadoop版本号-scala_版本号.tgz：可以打包flink的jar程序到yarn执行1.安装 flink tar zx.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）flink安装包的scala版本和项目中pom依赖的各个jar包相关的scala版本不一致导致的报错：NoSuchMethodError: scala.Predef$.refArrayOps...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）实际任务会被分发到 taskmanage 的机器中，计算结果根据会保存到 taskmanage 的机器下，不会在 jobmanage 的机器下。因此需要把所读取的本地文件发送到每台taskmanage机器和jobmanage机器中，否则会报错FileNotFoundException和IOException，比如 does not exist or the us

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）1.hadoop 安装包下载：http://archive.apache.org/dist/hadoop/core/2.安装hadoop 1.tar zxvf hadoop-2.8.3.tar.gz -C /root/ mv hadoop-2.8.3 hadoop 2.hadoop-env.sh 1.cd /root/hadoop/etc/ha

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）防火墙 查看状态 systemctl status firewalld防火墙 关闭 systemctl stop firewalld防火墙 开机禁用 systemctl disable firewalld禁用 SELINUX查.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） <build> <plugins> <!-- 该插件用于将Scala代码编译成class文件 --> <plugin> <groupId>net.alchim31.maven</groupId.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）无需配置，只需要进入bios，查看到如下图中的界面即有之前已经装好的多个系统的选择选项！！

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）3.2 泛娱乐特征工程与模型代码构建学习目标目标 说明泛娱乐推荐系统的特征工程过程 应用 应用完成泛娱乐推荐系统Wide&Deep模型的构建 3.2.1 特征工程3.2.1.1 定义正负样本根据模型最终的预测要求：使用户产生更多的交互行为, 来定义正负样本 正样本定义: 若用户A对帖子B产生交互行为, 则A的所有特征和B的所有特

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）3.1 模型选择与原理学习目标目标 了解推荐系统CTR模型的发展历史 说明Wide&Deep模型的结构以及原理 了解TF Wide&Deep模型的接口设置和使用 应用 无 3.1.1 CTR模型发展历史3.1.1.1 传统CTR模型发展历史2012左右之后，各大中小公司的主流CTR模型无一例外全都是LR模.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）2.6 用户推荐逻辑完善学习目标目标 了解用户推荐缓存获取逻辑 知道用户行为数据读取操作 应用 应用完成用户推荐缓存获取代码 应用完成用户行为数据neo4j行为读写操作 2.6.1 用户推荐缓存获取之前提供了一个这样的接口，用户获取用户缓存结果推荐出去，这里会用到用户的IP进行判断get_cache根据用户请求，获取用户缓存结果

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）2.5 规则过滤器学习目标目标 了解规则过滤器的作用 应用 无 2.5.1 规则过滤器什么是规则过滤器:为了保证推荐内容的多样性, 合理性, 每次的推荐内容会在内部和上次数据间做一些比较和过滤操作 规则过滤器作用：防止推荐数据重复, 并可按照指定规则选择性推荐，过滤掉不同用户发表的相同的帖子(帖子ID不一样，内容相似或者相同) 如何比较.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）2.4 召回金字塔学习目标目标 知道召回金字塔的作用 应用 应用完成召回金字塔的实现 2.4.1 召回金字塔2.4.1.1 为什么用召回金字塔因为考虑到计算资源在数据变动时的滞后性，以及如何满足个别用户快速消费的需求, 我们引入召回金字塔模型, 并为每一位用户维护一组该模型。过程如下满足公共召回策略帖子构成"金字塔"的底层，满足个

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）2.3 多召回策略学习目标目标 知道多召回策略的设计 应用 应用完成用户多召回策略实现 2.3.1 召回模块召回模块作用: 针对当前用户尽可能多的覆盖其喜好而进行帖子的筛选。 召回模块组成: 召回模块包括, ETL模块, 召回池(包含各种召回策略), 召回池二级缓存, 规则过滤器服务。 ETL模块计算技术解决方案: 使用AWS弹性云计算服

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）2.2 泛娱乐画像图谱存储学习目标目标 知道双画像的设计 应用 应用完成用户与帖子标签的数据库导入 2.2.1 画像图谱存储前面介绍的Web业务当中，需要进行实时推荐，那么我们需要从neo4j图谱数据中找到某个用户的推荐结果推荐出去。所以我们会把产品中历史的所有用户、帖子以及它们之间的关系进行导入到neo4j中。用户、帖子的标签当做neo

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）2.1 Web接口业务流介绍学习目标目标 知道用户推荐接口运行流程 应用 无 2.1.1 Web端环境启动我们这里使用supervisor进程管理工具进行管理Web服务的启动，nginx+uwsgi(django)是web端的服务解决方案2.1.1.1 supervisor启动配置supervisor要启动的进程服务：3个服务1、

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）4.2 Kafka学习目标目标 了解kafka概念 了解kafka的设计模式 掌握kafka的集群部署 说明Kafka的常用操作指令 了解Kafka的整体架构 知道Kafka的生产者、消费者的数据分发、负载均衡 说明Kafka的文件存储机制 说明Kafka为什么性能高 应用 应用kafka的python api完成生产消费

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）4.2 Flume学习目标目标 了解Flume结构 掌握Flume的安装 知道Flume的参数配置、插件以及作用 了解Flume的负载均衡 应用 应用Flume监听端口数据并输出到控制台 实现Flume采集文件/目录到HDFS 4.2.1 Flume概述Flume是由cloudera软件公司产出的可分布式日志收集系统，后.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）spark 入门课程目标：了解spark概念 知道spark的特点（与hadoop对比） 独立实现spark local模式的启动1.1 spark概述 1、什么是spark 基于内存的计算引擎，它的计算速度非常快。但是仅仅只涉及到数据的计算，并没有涉及到数据的存储。 2、为什么要学习spark MapReduce框架局限性.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）5.1 HBase简介1 什么是HBaseHBase是一个分布式的、面向列的开源数据库 HBase是Google BigTable的开源实现 HBase不同于一般的关系数据库, 适合非结构化数据存储2 BigTableBigTable是Google设计的分布式数据存储系统，用来处理海量的数据的一种非关系型的数据库。 适合大规模海量数据，PB级.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）4.1 Hive基本概念1 Hive简介学习目标- 了解什么是Hive- 了解为什么使用Hive什么是 HiveHive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。 Hive 本质: 将.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）1.1 什么是Hadoop Hadoop名字的由来 作者：Doug cutting Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名 Hadoop的概念: Apache™ Hadoop® 是一个开源的,可靠的(reliable),可扩展的(scalable)分布式计算框架 允许使用简单的编程模型跨计算机集群分布...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）linux下的Redis安装1.第一步：先安装C的编译环境：yum install gcc gcc-c++ libstdc++-devel tcl -y 因为需要使用gcc进行编译才能安装Redis，Redis是基于C语言开发的。2.第二步：查看是否安装gcc成功，输入gcc或make是否出现以下提示。3.第三步：可联网下载redis-4.0.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）什么NoSQLNoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，是一项全新的数据库理念，泛指非关系型的数据库。为什么有NoSQL随着互联网web2.0网站的兴起，非关系型的数据库现在成了一个极其热门的新领域，非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的we.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）Redis配置安装、redis命令C语言的客户通过hiredis库访问Redis服务器.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）1.官网：https://redis.io/download2.下载：redis-6.0.1.tar.gz3.安装： 1.更新软件源和升級软件 sudo apt-get update 更新软件源 sudo apt-get upgrade 升級软件 2.安装gcc sudo apt install build-essential #.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）supervisor 1.centos安装：yum install supervisor -y ubuntu安装：sudo apt-get install supervisor 2.supervisord.conf文件配置 sudo vim /etc/supervisor/supervisord.conf 添加如下 [program:.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）安装cmake、mongodb、mongodb的C驱动、C++驱动

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）1.MySQL数据库2.window下MySQL客户端连接Linux下MySQL服务器3.对表操作、数据类型、对数据增删改查、条件查询、模糊查询、分组查询、排序、嵌套查询4.多表联查5.字符串函数、.

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）python下载：https://www.python.org/downloads/更新pip：python -m pip install --upgrade pip安装you-get：pip3 install you-get更新you-get：p...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）pycharm官网下载 https://www.jetbrains.com/pycharm/download/#section=linux链接：https://pan.baidu.com/s/1oqYxOYob9MBuqHYsxkS-IA提取码：y...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）报错：/usr/bin/env: "python\r": 没有那个文件或目录 /usr/bin/env: "python\r": No such file or directory原因：在windows下从github中git clone下...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）Ubuntu 18.04.4、CUDA、cuDNN、anaconda、pycharm、tensorflow下载安装包 链接：https://pan.baidu.com/s/1YqfX0ObJSSUIaHYW3OW3cQ 提取码：21lu 链...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）下载 https://www.jetbrains.com/pycharm/download/#section=linux链接：https://pan.baidu.com/s/1oqYxOYob9MBuqHYsxkS-IA提取码：y8ub...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）conda install XX.tar.bz2conda install XX.whlpip install XX.tar.bz2pip install XX.whl...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）把只包含因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。def ugly(n): res = [1] ...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）6-7,使用spark-scala调用tensorflow2.0训练好的模型本篇文章介绍在spark中调用训练好的tensorflow模型进行预测的方法。本文内容的学习需要一定的spark和scala基础。如果使用pyspark的话会比...

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）方式一：pip install pycocotools方式二： 1.先安装git：https://git-scm.com/downloads 2.pip install git+https://github.com/philferriere/c...

tensorflow 2.0 画出model网络模型的拓扑图tensorflow 2.0 的回调函数callbacks（TensorBoard、ModelCheckpoint）TensorBoard视觉化网络每层权重分布、视觉化网络层结构MSE(均方误差)、MAE(平均绝对误差)from_logitsCE(Cross-Entropy)、BCE(Binary Cross-Ent...

tensorflow 2.0 深度学习（第一部分 part1）tensorflow 2.0 深度学习（第一部分 part2）tensorflow 2.0 深度学习（第一部分 part3）tensorflow 2.0 深度学习（第二部分 part1）tensorflow 2.0 深度学习（第二部分 part2）tensorflow 2.0 深度学习（第二部分 part3）te...

1.*和** 1.数学运算中，*为乘，**为次方 2.当函数接收元组参数时，使用“*args”。当函数接收字典参数时，使用“**args”。这种方法在函数需要获取可变数量的参数时特别有用。 如果使用的是*作前缀，多余的函数参数都会作为一个元组存储在args中。如果使用的是**作前缀，多余的参数则会被认为是一个字典的健/值对。 3.对于def func(*args)，*args表示把...

1.x(i)：表示第i部电影的各种类型风格的指标程度。每一个电影都有一个3*1维度特征向量x(i)=[x_0,a,b]T。 x_0：每一步电影自带的特征偏置项，但该值为不代表属性的固定值x_0=1。 a：浪漫指数，代表电影的浪漫程度。 b：动作指数，代表电影的动作程度。 例如：第一部电影的特征向量x(1)=[1, 0.9, 0.1]T，该部电影的浪漫指数为0.9，动作指数为...

卸载自带的OpenJDK方法 sudo apt-get remove openjdk*安装 JDK 1.8 sudo mkdir /usr/local/java sudo tar zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local/javacd /usr/local/java/jdk1.8.0_181/bin./java -version...

subplot 分割成多个小图plt.subplot(行数,列数,第几个子图像)：切割成行数*列数个数量的子图像，多个子图像便分布在行数*列数的范围之内。plt.subplot(2,2,1)：切割成2*2=4个数量的子图像，目前第1个子图像指向在第1行第1列的位置上。plt.subplot(2,2,2)：切割成2*2=4个数量的子图像，目前第2个子图像指向在第1行第2列的位置上。p...

人工智能AI：Keras PyTorch MXNet 深度学习实战（不定时更新）个人主页1.飞浆：https://www.paddlepaddle.org.cn/ 快速安装：https://www.paddlepaddle.org.cn/install/quick 安装文档：https://www.paddlepaddle.org.cn/install/doc/wind...

Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 Kudu 创建主键每个Kudu 表必须设置Pimary Key(unique), 另外Kudu表...

nginx+keepalived：局域网内网和公网外网 搭建nginx HA 双机热备 高可用nginx 把 POST请求数据 写入到 日志文件中nginx 自动解压gzip压缩数据的两种方式：nginx自动解压、后台java程序解压nginx安装、nginx反向代理/负载均衡、Lua、LuaJIT、openresty、lua-nginx-module、ngx_devel_kit 的安...

Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...

Redis集群 安装、命令、API window 安装 redis java Jedis api：redis集群api JedisCluster、redis连接池api JedisPool Redis 集群搭建、Spring Data Redis使用 redis 集群搭建 redis报错信息：CLUSTERDOWN Hash slot not served 和 No...

Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 Kudu 创建主键 1.第一种：可以直接使用“limit 行数” 表示直接从 s...

Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...

nginx+keepalived：局域网内网和公网外网 搭建nginx HA 双机热备 高可用nginx 把 POST请求数据 写入到 日志文件中nginx 自动解压gzip压缩数据的两种方式：nginx自动解压、后台java程序解压nginx安装、nginx反向代理/负载均衡、Lua、LuaJIT、openresty、lua-nginx-module、ngx_devel_kit 的安...

其他文章参考链接spring boot 启动命令行传参 Eclipse 创建Maven工程 Eclipse 做jar包 运行java程序(jar)指定内存大小 把java项目打包为jar包、war包目录 把java项目编译后的代码打包为jar包（不包含第三方依赖jar包） 把java项目编译后的代码打包为war包（包含第三方依赖jar包） 把java项目编...

Redis集群 安装、命令、API window 安装 redis java Jedis api：redis集群api JedisCluster、redis连接池api JedisPool Redis 集群搭建、Spring Data Redis使用 redis 集群搭建 redis报错信息：CLUSTERDOWN Hash slot not served 和 No...

CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用CDH5（CDH 5.16.1）安装linux配置1.第一种方式：rsa算法加密，非对称加密的方式基于私钥登陆的方式：（ssh连接时无需输入用户密码） 1.ssh-keygen -t rsa 然后四下回车 2./root/.ssh目录下： 私钥：id_rsa 公钥：id_rsa.p...

大数据组件使用 总文章Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 Kudu 创建主键impala命令刷新元数据 1.impala-shel...

大数据组件使用 总文章1.Apache Storm 流式计算框架 1.Storm 基础 1.Storm是什么 Hadoop在处理数据的时候，时效性不够，市场期望能够尽快得到处理后的数据。 Storm是一个流式计算框架，数据源源不断的产生，源源不断的收集，源源不断的计算。（一条数据一条数据的处理） Storm只负责数据的计算，不负责数据的存储。 2013年...

大数据组件使用 总文章Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 Kudu 创建主键 map、flatMap(流的扁平化)、split 的区别...

Redis集群 安装、命令、API window 安装 redis java Jedis api：redis集群api JedisCluster、redis连接池api JedisPool Redis 集群搭建、Spring Data Redis使用 redis 集群搭建 redis报错信息：CLUSTERDOWN Hash slot not served 和 No...

Keras 深度学习实战（不定时更新）Kera提供了必要的库来加载数据集，并将其划分成用于微调网络的训练集 X_train，以及用于评估性能的测试集 X_test。数据转换为支持 GPU计算的 float32 类型，井归一化为[0, 1]。另外，我们将真正的标签各自加载到 Y_train、Y_test中，并对其进行 One-hot 编码。Keras 配置htt...

其他文章参考链接spring boot 启动命令行传参 Eclipse 创建Maven工程 Eclipse 做jar包 运行java程序(jar)指定内存大小 把java项目打包为jar包、war包nohup java -Xms堆内存初始值m -Xmx堆内存最大值m -jar xx.jar >log.out &比如：nohup java -Xms2000m -X...

Redis集群 安装、命令、API window 安装 redis java Jedis api：redis集群api JedisCluster、redis连接池api JedisPool Redis 集群搭建、Spring Data Redis使用 redis 集群搭建 redis报错信息：CLUSTERDOWN Hash slot not served 和 No...

Redis集群 安装、命令、API window 安装 redis java Jedis api：redis集群api JedisCluster、redis连接池api JedisPool Redis 集群搭建、Spring Data Redis使用 redis 集群搭建 redis报错信息：CLUSTERDOWN Hash slot not served 和 No...

java 判断时间范围 java 判断两个日期时间/两个时间戳之间相隔多少天，也可用于获取从1970年以来到某个时间之间相隔多少天判断两个日期时间/两个时间戳之间相隔多少天也可用于获取从1970年以来到某个时间之间相隔多少天 //2019-05-18 00:00:00 时间戳 1558108800000 //2019-05-17 23:59:59 ...

大数据组件使用 总文章Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 Kudu 创建主键链接：https://pan.baidu.com/s/1j...

排序算法资料视频下载链接：https://pan.baidu.com/s/1i28Br5ztdnXbztcgk52Eag提取码：sytmC实现的数据结构与算法笔记：https://pan.baidu.com/s/1Wk5SCUQVSQik4em-AjKZ7g14种模式解决面试算法编程题（PART I）冒泡排序1.内存循环中使用的是 if (arr[j] > arr[j...

多进程、多线程、多线程中的共享变量的安全问题、同步锁、线程同步、ThreadLocal Java 线程池 newCachedThreadPool缓存线程池、newFixedThreadPool固定线程池 1.多进程和多线程： 1.进程和线程： 1.进程：当前正在运行的程序，一个应用程序在内存中的执行区域 2.线程：一个线程 为进程中的一个执行控制单元，真正执行代码的...

其他文章参考链接spring boot 启动命令行传参 Eclipse 创建Maven工程 Eclipse 做jar包 运行java程序(jar)指定内存大小 把java项目打包为jar包、war包

结论：1.try 或 catch 中都有 return语句，并且有 finally 的话，最终先执行 finally，再执行 try 或 catch中的 return语句2.try 或 catch 中都有 return语句，并且有 finally，而且 finally中 有return语句 的话，最终先执行 finally，然后执行 finally中 有return语句，并不会执行 try...

多进程、多线程、多线程中的共享变量的安全问题、同步锁、线程同步、ThreadLocal Java 线程池 newCachedThreadPool缓存线程池、newFixedThreadPool固定线程池 package src.main.sample;import java.util.concurrent.ExecutorService;import java.u...

大数据组件使用 总文章Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 Kudu 创建主键如果Maven下载ImpalaJDBC41不下来的话，可以到...

mysql 安装、sql语法 一条sql语句完成MySQL去重留一 mysql 事务、索引、锁、分区/分表、sql优化、查询优化 mysql 安装配置使用、sql语法 MySQL主键、创建索引、UNION 和 UNION ALLwindow下的 MySQL客户端 或 代码程序 连接Linux的MySQL服务器，修改linux下的mysql配置：1. sudo vim /etc...

mysql 安装、sql语法 一条sql语句完成MySQL去重留一 mysql 事务、索引、锁、分区/分表、sql优化、查询优化 mysql 安装配置使用、sql语法 MySQL主键、创建索引、UNION 和 UNION ALLDELETE mygameFROM mygame, (SELECT min(id) id, game, use...

mysql 安装、sql语法 一条sql语句完成MySQL去重留一 mysql 事务、索引、锁、分区/分表、sql优化、查询优化 mysql 安装配置使用、sql语法 MySQL主键、创建索引、UNION 和 UNION ALLmysql 索引类型以及创建一、简介MySQL目前主要有以下几种索引类型：1.普通索引2.唯一索引3.主键索引4.组合索引5.全文索引二、...

class XXExample类 通过逆向工程生成，而public static class Criteria都定义在class XXExample类中1.class XXExample类： XXExample example = new XXExample() 分组(group by)、排序(order by)的条件都使用XXExample对象设置 不是where子句中的条件都要...

mysql 安装、sql语法 一条sql语句完成MySQL去重留一 mysql 事务、索引、锁、分区/分表、sql优化、查询优化 mysql 安装配置使用、sql语法 MySQL主键、创建索引、UNION 和 UNION ALL1.mysql数据库的登录的服务： 1.用户登录：mysql -u 用户名 -p 密码 可选参数：（默认连接本地服务器，可以省略下面两个参数...

大数据组件使用 总文章Azkaban 调度器1.安装包： azkaban-executor-server-2.5.0.tar.gz azkaban 执行服器 azkaban-sql-script-2.5.0.tar.gz azkaban sql脚本 azkaban-web-server-2.5.0.tar.gz azkaban web 服务器2.解压 mkdir -p /r...

数据仓库设计 网站/APP 流量分析、用户访问分析 网站/APP 流量分析、点击流分析、用户访问分析 网站埋点+网站日志自定义采集系统+nginx的相关安装1.点击流数据模型 1.点击流概念 点击流（Click Stream）是指用户在网站上持续访问的轨迹。这个概念更注重用户浏览网站的整个流程。 用户对网站的每次访问包含了一系列的点击动作行为，这些点击行为数据就构成了...

数据仓库设计 网站/APP 流量分析、用户访问分析 网站/APP 流量分析、点击流分析、用户访问分析 网站埋点+网站日志自定义采集系统+nginx的相关安装2.本项目中数据仓库的设计（注：采用星型模型） 1.事实表设计 2.维度表设计 注意： 维度表的数据一般要结合业务情况自己写脚本按照规则生成，也可以使用工具生成，方便后续的关联分析。 比如一般会事前...

1.模块开发----数据仓库设计 1.维度建模基本概念 1.维度建模(dimensional modeling)是专门用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。 2.维度表(dimension) 维度表示你要对数据进行分析时所用的一个量，比如你要分析产品销售情况，你可以选择按类别来进行分析，或按区域来分析。 这样的按X...

大数据组件使用 总文章Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 Kudu 创建主键链接：https://pan.baidu.com/s/1j...

日萌社：http://www.rimengshe.comC/C++笔记word文档 下载链接：日萌社原创点击打开链接请到 日萌社 的 C/C++板块 中的 置顶帖中 回复查看 度娘链接下载【日萌社】用户画像【日萌社】C、C++笔记【日萌社】JavaWeb+大数据笔记【日萌社】CDH 6、CDH5【日萌社】Python笔记【日萌社】Keras、PyTorch【日萌社】日语语...