zsyoung的博客

原创 为何以及如何设置NTP时间同步？

文章目录为何要设置NTP时间同步？如何设置NTP时间同步？修改选定的服务器的本地时间将修改后的时间写入硬件时钟，确保重启有效安装并开启ntp服务手动同步服务器系统时间操作注意事项为何要设置NTP时间同步？NTP（Network Time Protocol，网络时间协议）是由RFC 1305定义的时间同步协议，用来在分布式时间服务器和客户端之间进行时间同步。NTP基于UDP报文进行传输，使用的U...

翻译 《数学之美》—— 布隆过滤器

作者：吴军第23章 布隆过滤器存储效率采用散列表，每存储一亿个Email地址，就需要1.6GB的内存，即16亿字节（B）的内存。1B（byte，字节）= 8 bit（见下文）；（用散列表实现的具体办法是将每一个Email地址对应成一个8字节的信息指纹，然后将这些信息指纹存入散列表，由于散列表的存储效率一般只有50%，因此一个Email地址需要占用16个字节）布隆过滤器...

翻译 《数学之美》—— 图论和网络爬虫

作者：吴军第9章 图论和网络爬虫构建网络爬虫的工程要点1、首先，用BFS还是DFS?BDS (Breadth-First-Search)(广度优先搜索)DFS (Depth-First-Search)(深度优先搜索)先爬哪个网页，后爬哪个网页的调度程序，原理上基本上是BFS。但是分布式的爬虫系统为了减少网络通信中的握手成本，一组专门下载某个网站的服务器会先下载完一个网站...

原创 记录开发SpringBoot配置类中遇到的一些问题

在配置类上添加@Component后，SpringBoot启动类上就不用添加@Configuration和@EnableConfigurationProperties注解 在@PropertySource中添加ignoreResourceNotFound = true，否则此项目或者所有扫描包含此配置类项目的其他项目在指定配置文件不存在的时候都启动不起来 @PropertySour...

原创 VueX的介绍和使用

文章目录用于解决：官方介绍：注意vuex的引入和方法：组件里面使用vuex：用于解决：vuex解决了组件之间同一状态的共享问题 （解决了不同组件之间的数据共享）组件里面数据的持久化官方介绍：Vuex 是一个专为 Vue.js 设计的状态管理模式 vuex解决了组件之间同一状态的共享问题。当我们的应用遇到多个组件共享状态时，会需要：多个组件依赖于同一状态。传参的方法对于多层...

原创 Vue动态路由和get传值

文章目录动态路由1. 配置动态路由2. 在对应的页面get传值1.配置路由2.在对应的页面动态路由1. 配置动态路由routes:[ {path: '/user/:id', component: User}]2. 在对应的页面<ul> <li v-for="(item,key) in list)"> //<router-l...

原创 Vue父子组件之间和非父子组件之间传值

文章目录父组件给子组件传值或方法父组件主动获取子组件的数据和方法子组件主动获取父组件的数据和方法非父子组件传值父组件给子组件传值或方法父组件调用子组件的时候，绑定动态属性<v-header :title="title"></v-header>在子组件里面通过props接收父组件传过来的数据， props:['title'] 或者 ...

原创 Vue中的路由以及默认路由跳转

文章目录官方网址Vue路由配置安装引入并使用配置路由官方网址https://router.vuejs.org/Vue路由配置安装npm install vue-router --save或者cnpm install vue-router --save引入并使用在main.js中：import VueRouter from 'vue-router'Vue.use(...

原创 Vue路由的嵌套

1. 配置路由在main.js中或自己指定的路由文件中：{ path:'/user', component:User, children:[ {path: 'useradd', component: UserAdd}, {path: 'userlist', component: Userlist} ]}上面的childre...

原创 JVM minor gc与full gc原理图

原创 Yarn-cluster及Yarn-client两种提交模式剖析

Yarn-cluster及Yarn-client两种提交模式剖析Yarn-cluster提交模式原理图Yarn-client提交模式原理图两种提交模式优缺点分析切换方式总结Yarn-cluster提交模式原理图Yarn-client提交模式原理图两种提交模式优缺点分析Yarn-client，用于本地测试，因为Driver运行在本地客户端，负责调度application，会与yarn集...

原创 Scala-scalaMap转JSON字符串和javaMap

Scala-scalaMap转JSON字符串和javaMap

原创 scala-JavaConverters和JavaConversions的区别

scala-JavaConverters和JavaConversions的区别JavaConversionsJavaConverters引用JavaConversionsJavaConversions提供了一系列隐式方法，这些方法可以在Java集合和最接近的相应Scala集合之间进行转换，反之亦然。这是通过创建包装器来完成转换的，包装器实现Scala接口并将调用转发到底层的Java集合，或...

原创 Java线程池之ThreadPoolExecutor的使用

以下是自定义线程池，使用了有界队列，自定义ThreadFactory和拒绝策略的demo：import java.io.IOException;import java.util.concurrent.*;import java.util.concurrent.atomic.AtomicInteger;/** * 以下是自定义线程池，使用了有界队列，自定义ThreadFactory和拒绝...

原创 spark之shuffle性能优化

shuffle调优是spark调优的重中之重，在讲解shuffle调优之前，我们首先明确一个概念，什么是shuffle操作？问题：什么是shuffle？答案：每个Spark作业启动运行的时候，首先Driver进程会将我们编写的Spark作业代码分拆为多个stage，每个stage执行一部分代码片段，并为每个stage创建一批Task，然后将这些Task分配到各个Executor进程中执行。...

原创 spark架构原理图

原创 Elasticsearch报NoNodeAvailableException

遇到问题：使用TransportClient连接Elasticsearch时出现了NoNodeAvailableException:[None of the configured nodes are available:[{#transport#-1}{Wn5UYXoTTIaPT4LZ3-RtZg}{???.???.?.???}{???.???.?.???:24148}]]问题原因问题出...

原创 12306网站抓取全国所有车次信息爬虫，附源代码，可直接使用

12306爬虫注：爬取12306网上的车次信息的爬虫，仅供交流学习之用，请勿用于商业用途项目地址：https://gitee.com/zsyoung01/train介绍12306爬虫，抓取指定城市，始发和经过的所有车次信息特性网络请求-数据解析-文件存储 三层结构多线程下载网络自动重试错误日志记录Python3你可能需要pip3 install requestspi...

原创 你需要来自Administrator的权限才能对此文件夹进行更改 win10

遇到问题：你需要来自Administrator的权限才能对此文件夹进行更改！网上百度了很多方法都不能奏效，最终找到 一个最简单的方案，分享给大家：解决方案：cmd管理员身份执行：设置F盘everyone都有读写能力：cacls.exe F:\ /e /t /g everyone:F当前目录everyone都有读写能力:cacls.exe ./ /e /t /g ...

原创 hive表中有对应数据，写sql却查不出来结果

hive表中有对应数据，写sql却查不出来结果遇到问题原因解决方案遇到问题查询hive表时，明明sql中字段在表中有对应数据，但是却一直查不出来数据。原因sql中有longitude!=’’ and latitude!=’’，其中longitude和latitude都是float类型，不支持这样判断是否为空另外，sql中float类型变量不能通过&quot;=&quot;比较大小是否相等,而应该通过≥或≤...

原创 pip install 失败 “connection error: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed

问题描述:使用pip按照splinter等三方库时报错，如下：pip install splinterCollecting splinter Could not fetch URL https://pypi.python.org/simple/splinter/: There was a problem confirming the ssl certificate: [SSL: C...

原创 今日头条批量取消关注js代码，取关1000人只用2分钟！

前言： ​ 前一段时间心血来潮注册了一个头条号，想体验一把自媒体的感觉，初期为了认证身份疯狂互粉，结果发出的文章和视频，互粉的粉丝反馈不好，导致没有推荐量，坚持了一段时间后做不下去了，就想先取消互粉的粉丝，等粉丝回归正常数量再继续做头条号。 ​ 但是身为程序员，一个个取消关注岂不是又慢又low，自己花了几分钟写了段js，特意发出来分享给大家。准备工作：c...

转载 JVM加载class文件的原理机制

Java中的所有类，都需要由类加载器装载到JVM中才能运行。类加载器本身也是一个类，而它的工作就是把class文件从硬盘读取到内存中。在写程序的时候，我们几乎不需要关心类的加载，因为这些都是隐式装载的，除非我们有特殊的用法，像是反射，就需要显式的加载所需要的类。      Java类的加载是动态的，它并不会一次性将所有类全部加载后再运行，而是保证程序运行的基础类(像是基类)完全加载到jvm中，至于...

原创 使用java自动爬取新浪微博历史列表-免登录

使用java自动爬取新浪微博历史列表-免登录目录使用java自动爬取新浪微博历史列表-免登录目录准备工作原理工作流程1.找出微博内容页请求链接2.修改参数拼出请求链接3.解析网页数据4.存入数据库程序部分程序结构运行程序部分数据库字段解释最后再整理一遍思路文件地址准备工作安装jdk8安装mysql数据库和navicat高...

原创 JDK9不能进行junit4测试怎么办？

JDK9不能进行junit4测试怎么办？报错： Caused by: java.lang.ClassNotFoundException: javax.xml.bind.JAXBException原因 简单来说，就是jdk9的模块化功能造成的，java.xml.bind其实是属于javaEE的模块，在jdk6/7/8版本中都方在了默认的path下面，但是到了jdk9，就把这些模块 都移

原创 正则表达式文档边学边练，一小时轻松学会

正则表达式文档学习及练习正则表达式文档学习及练习字符捕捉和替换使用正则表达式编程其他建议总结最近在做爬虫，一直很头疼正则表达式，不会写也不会认，这次终于下定决心来学习一下，并做一下总结整理。​ 到目前为止，正则表达式的功能类似于常规的Find功能Java中的String.indexOf()函数PHP中的strpos()函数等等

原创 微信公众号文章爬取方法整理

微信公众号文章爬取方法整理1.用python爬取 http://blog.csdn.net/d1240673769/article/details/75907152 实现方法：通过微信提供的公众号文章调用接口，实现爬取公众号文章的功能步骤：1.需要安装python selenium模块包，通过selenium中的webdriver驱动浏览器获取Cookie的方法、来达到登录的效果；

原创 人情冷暖，饮水自知

路遥知马力，日久见人心。人生的路很漫长，总会遇到一些垃圾人垃圾事，如何处世做人永远需要学习，这是一门哲学。

原创 MapReduce的最通俗解释

编注：下面这段话应该是最简短的语言解释MapReduce：We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That’s map. The more people we get, the faster it goes.我们要数图书馆中的所有书。你数

原创 hadoop、hive、hbase的通俗解释，带你快速了解

定义：hadoop是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用。 hive是一个构建在Hadoop基础设施之上的数据仓库。 hbase是一种Key/Value系统，它运行在HDFS之上，是一个分布式的、面向列的开源数据库。 特点：hive把数据文件加载进来作为一个hive表（或者

原创 怎么用IDEA上传本地项目到码云/Github?

博主码云地址：https://git.oschina.net/zsyoung01,欢迎关注！博客原文地址：http://blog.csdn.net/zsyoung/article/details/76891211开始切入正题：怎么上传本地项目到码云/Github? 需要条件：1.码云/Github建好的git项目2.IDEA编辑器3.本地项目步骤1：创...

原创 【超详细】如何部署javaWeb项目流程 阿里云linux-ubuntu下mysql+tomcat+jdk安装

适用对象本文章介绍如何使用一台基本配置的云服务器 ECS 实例部署 Java web 项目。适用于刚开始使用阿里云进行建站的个人用户。基本流程使用云服务器 ECS 部署 Java Web 项目的操作步骤如下：创建 ECS 实例 安装 JDK 安装 Tomcat8.0 安装 mysql步骤 1 创建 Linux 实例对于个人使用的小型网站，一台云服务器 ECS...

原创 openSession() 与 getCurrentSession() 有何不同和关联呢？

* 在 SessionFactory 启动的时候， Hibernate 会根据配置创建相应的 CurrentSessionContext ，在 getCurrentSession() 被调用的时候，实际被执行的方法是 CurrentSessionContext.currentSession() 。在 currentSession() 执行时，如果当前 Session 为空， currentSess

原创 Could not obtain transaction-synchronized Session for current thread

在测试类中加上一个@Transactional的注解，同时在pom.xml中也要加事务的依赖

翻译 为什么使用Junit Test而不用普通java main方法来完成测试?

为什么大家都在用junit4？百度一下结合着使用有些明白了因为在程序里边，一个接口对应一个实现方法，而在接口中常常会定义相关的很多方法，所以在测试的时候，如果都在main方法里边进行测试，main方法就会显得臃肿，而且不便于以后其他人测试以及查看测试数据，用Junit Test测试的话，一个方法对应一个测试方法，简单明了，也方便别人查看测试方法以及测试数据。　　如果你的类里有多...

原创 HttpServlet cannot be resolved to a type解决办法

在文章Java中REST API使用示例——基于云平台+云服务打造自己的在线翻译工具中从IBMBluemix上下载的Java示例代码，导入到Eclipse之后，出现以上错误信息！错误原因：Eclipse是刚刚安装的，还没有配置服务器运行环境！解决办法：1、首先要安装一下Tomcat；通常是下载一个zip压缩包，解压一下就可以了；2、Eclipse...

原创 Java程序员面试中的多线程问题

网址：http://blog.jobbole.com/18571/

转载 java集合框架浅析

前言：在Java语言中，Java语言的设计者对常用的数据结构和算法做了一些规范（接口）和实现（具体实现接口的类）。所有抽象出来的数据结构和操作（算法）统称为Java集合框架（JavaCollectionFramework）。Java程序员在具体应用时，不必考虑数据结构和算法实现细节，只需要用这些类创建出来一些对象，然后直接应用就可以了，这样就大大提高了编程效率。

原创 Java中的异常处理机制

java把所有非正常情况分成两种：异常（Exception）和错误（Error），都是继承自Throwable父类。 Error错误：一般是指虚拟机相关的问题，如系统崩溃，虚拟机出错误等，这种错误无法恢复或不可能捕获，将导致应用程序中断，通常不处理。 Exception异常:指不期而至的各种状况，如：文件找不到、网络连接失败、非法参数等。         异常是一个

转载 java中类与类之间的关系

一、继承关系      继承指的是一个类（称为子类、子接口）继承另外的一个类（称为父类、父接口）的功能，并可以增加它自己的新功能的能力。在Java中继承关系通过关键字extends明确标识，在设计时一般没有争议性。在UML类图设计中，继承用一条带空心三角箭头的实线表示，从子类指向父类，或者子接口指向父接口。 二、实现关系      实现指的是一个class类实现interface接口（