掌勺者-CSDN博客

原创制作ubuntu apt的离线安装源

确保你拥有一台可以上网的ubuntu设备，系统要和无法上网的ubuntu设备一致。1、在可以上网的ubuntu设备上，对想要离线安装的组件进行预处理。（1）清理apt的下载缓存区。sudo rm -rf /var/cache/apt/archives/*（2）下载所需要的组件sudo apt-get -d install （3）创建一个目录，将下载的包拷贝到该目录下cp -r /var/c

2018-01-12 09:15:35 6374

原创配置X-pack的安全性

Elasticsearch 6.x版本开始，在更新X-pack的证书为黄金版及以上后，原有的用户管理功能就必须启动SSL加密通信机制方可使用。1、生成节点证书编辑文件instances.yml，内容为：instances: - name: "test2" ip: - "192.168.1.13" - name: "test1" ip: - "19

2017-12-28 11:01:29 1097 3

原创 X-pack全功能解锁（用于个人试验测试）

使用Kibana管理Elasticsearch集群很方便，但需要集成X-pack组件。虽然ES和Kibana都是免费开源的，但X-pack却是收费才能开放所有功能。还好，X-pack的证书校验并不复杂，可以绕开验证机制，解锁全部功能。测试版本为X-pack-6.1.0版本。1、访问在kibana的证书管理页面，上面会指示你跳转到X-pack的官方证书生成网址，可以生成一个1

2017-12-28 08:19:25 4350 1

原创 ubuntu服务器实现scsi硬盘热拔插及在线识别，并通过lvm动态扩容（下篇）

在上篇中，已让linux服务器在线识别了新插入的硬盘，所以接下来就是配置这块新硬盘，完成服务器的扩容。1、LVM基本概念。具体操作之前，先搞清楚一些基本的概念，这样在操作过程中才不至于会犯低级或是致命的错误。参考百度百科中的定义，LVM是 Logical Volume Manager（逻辑卷管理）的简写，它是Linux环境下对磁盘分区进行管理的一种机制。

2017-12-27 11:11:56 1713

原创 ubuntu服务器实现scsi硬盘热拔插及在线识别，并通过lvm动态扩容（上篇）

服务器会遇到硬盘扩容问题，有时还需要在线扩容。而linux系统本身不会自动检测硬盘的装卸，所以需要在插入硬盘后进行检测。1、服务器硬盘这类外接设备大多是插在scsi总线系统上，所以第一步需要让系统知道，scsi总线上新插入了一个设备。scsi设备记录在/proc/scsi/scsi这个文件中，通过指令查看它：cat /proc/scsi/scsi结果类似于：Attached d

2017-12-27 10:42:52 2851

原创在ubuntu16.04 server系统下配置Elasticsearch+Kibana+X-pack开发环境

1、设置root密码：1、sudo passwd2、输入安装时设定的用户密码，然后输入两遍新的root密码，完成设置。2、设置ssh可登陆root:1、su - root #切换到root账户2、vi /etc/ssh/sshd_config3、注释掉 #PermitRootLogin without-passwo

2017-12-15 09:51:57 427

原创 win10 64位系统下，搭建spark环境，并配置python+pycharm开发环境

因为个人需要，想要学习大数据的处理知识，在学习之前首先要搭建基本软件环境。目前用的比较广泛的大数据平台基本都是基于hadoop生态圈的一系列软件，不过这两年spark异军突起，比hadoop生态中的MR的处理方式要快非常多，而且spark中的SQL、streaming、MLlib、GraphX等组件功能十分强大，所以选择搭建以spark为基础的大数据处理环境。一、系统环境理论上说，无论

2017-11-28 18:13:27 2003

转载使用paramiko的SFTP get或put整个目录（转）

使用paramiko的SFTP get或put整个目录　　在《使用paramiko执行远程linux主机命令》中举例说明了执行远程linux主机命令的方法，其实paramiko还支持SFTP传输文件。　　由于get或put方法每次只能传输一个文件，而不是整个目录，因此我们先看一下传输单个文件的方法，其实非常简单，网上也有很多参考资料了。　　还是直接使用前文中

2017-07-18 08:42:49 2104

转载 linux下为程序创建启动和关闭的的sh文件，scrapyd为例

对于一些未提供service管理的程序每次启动和关闭都要加上全部路径，想到可以做一个简单的启动和关闭控制的文件下面以scrapy启动server为例，文件名为run.sh：#端口号，根据此端口号确定PID PORT=6800 #启动命令所在目录 HOME='/home/jmscra/scrapy/' #查询出监听了PORT端口TCP协

2017-07-12 10:39:19 1869

原创 scrapyd：基于scrapy的爬虫发布管理工具

最近研究scrapy爬虫框架，在整站爬取上及其方便。但是因为boss的需求比较怪异，需要自动化的最大量不同站点做爬取，而scrapy实现上述功能又不够智能和方便。后来在scrapy文档里发现了scrapyd，找到了思路。scrapyd相当于scrapy server，可以同时运行多个爬虫。1、安装scrapyd：pip install scrapyd2、运行scrapyd：sc

2017-07-11 11:26:05 2148

转载 Ubuntu 16.04 安装pyspider

安装支持类库sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-devpython-lxml libpcap-dev libpq-dev安装pipsudo apt-get install py

2017-06-29 17:39:49 629

转载打造属于自己的vim

Linux 系统中很多东西都是以脚本代码、配置文件的形式存在，使用 Linux 系统时，需经常对这些文件进行编辑。很显然，如果没有文本编辑器，江湖之路寸步难行。　　我的选择是 Vim。Vim 是 Linux 系统上的最著名的文本/代码编辑器，也是早年的 Vi 编辑器的加强版，被誉为文本/代码编辑器之中最为优秀经典的上古神器。它之所以会获得如此美誉，我想主要有以下原因：1.它古老而神秘，学

2017-06-29 16:15:24 339

转载 vim配置vimrc详解（转）

vimrc的存放位置：系统 vimrc 文件: "$VIM/vimrc" 用户 vimrc 文件: "$HOME/.vimrc" 用户 exrc 文件: "$HOME/.exrc" 系统 gvimrc 文件: "$VIM/gvimrc" 用户 gvimrc 文件: "$HOME/.gvimrc" 系统菜单文件: "$VIMRUNTIME/menu.vim" $VIM

2017-06-29 15:33:22 672

转载配置文件vimrc存放位置（转）

当我们使用Vim时, 你需要知道一系列的配置文件. 这些配置文件的位置依赖于Vim的安装位置和你所使用的操作系统.通常, 有三个配置文件, 你是必须知道在哪里能找到的.vimrc这是Vim最主要的配置文件. 它有两个版本, 全局版本(global)和用户版本(personal)).全局vimrc文件放在你安装Vim的目录中. 你可以打开vim, 在普通模式下输入下面

2017-06-29 11:17:22 8642 1

原创 ubuntu下安装web服务器及爬虫框架

1、安装anacondabash Anaconda2-4.4.0-Linux-x86_64.sh 2、安装ssh服务：确定是否有安装SSH服务ps -e | grep ssh*安装SSH-serversudo apt-get install openssh-server安装SSH-clientsudo apt-get install openss

2017-06-23 09:36:40 292

原创 python安装mysql-connector-python

用python连接mysql数据库，需要安装第三方的工具包，常用的有Mysqldb，pymysql，mysql-connector-python。其中，mysql-connector-python是mysql官方给出的python扩展包，本文以此包的安装为准。首先，采用官方的安装方式。登录官网https://dev.mysql.com/downloads/connector/python/

2017-06-23 09:35:02 5596 1

转载 MFC中调用C#控件(转)

#include // MFC Windows Forms support#using #using #using #using #using using namespace System;using namespace System::Drawing;using namespace System::Windows::Forms;using namespac

2015-08-05 10:58:58 809

转载 http响应状态码大全

http状态返回代码 1xx（临时响应）表示临时响应并需要请求者继续执行操作的状态代码。http状态返回代码代码说明100 （继续）请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。 101 （切换协议）请求者已要求服务器切换协议，服务器已确认并准备切换。http状态返回代码 2xx （成功）表示成功处理了请求

2015-07-17 15:52:14 376

转载正则表达式之贪婪与非贪婪模式详解（概述）

网上找到的贪婪与非贪婪模式详解，看了这一段基本明白贪婪与非贪婪模式的构成条件1 概述贪婪与非贪婪模式影响的是被量词修饰的子表达式的匹配行为，贪婪模式在整个表达式匹配成功的前提下，尽可能多的匹配，而非贪婪模式在整个表达式匹配成功的前提下，尽可能少的匹配。非贪婪模式只被部分NFA引擎所支持。属于贪婪模式的量词，也叫做匹配优先量词，包括： “{m,n}”、“{m,}”、“?”

2015-07-17 15:50:12 306

转载正则表达式的贪婪与懒惰模式

当正则表达式中包含能接受重复的限定符时，通常的行为是（在使整个表达式能得到匹配的前提下）匹配尽可能多的字符。以这个表达式为例：a.*b，它将会匹配最长的以a开始，以b结束的字符串。如果用它来搜索aabab的话，它会匹配整个字符串aabab。这被称为贪婪匹配。有时，我们更需要懒惰匹配，也就是匹配尽可能少的字符。前面给出的限定符都可以被转化为懒惰匹配模式，只要在它后面加上一个问号?

2015-07-17 15:36:42 254

转载 MySQL存储引擎总结

这篇文章主要介绍了MySQL存储引擎总结,本文讲解了什么是存储引擎、MyISAM、InnoDB、MEMORY、MERGE等内容,需要的朋友可以参考。前言在数据库中存的就是一张张有着千丝万缕关系的表，所以表设计的好坏，将直接影响着整个数据库。而在设计表的时候，我们都会关注一个问题，使用什么存储引擎。等一下，存储引擎？什么是存储引擎？什么是存储引擎？关系数据库表是用

2015-07-17 15:28:22 400

转载总结 XSS 与 CSRF 两种跨站攻击

总结 XSS 与 CSRF 两种跨站攻击转自：https://blog.tonyseek.com/post/introduce-to-xss-and-csrf/XSS：跨站脚本（Cross-site scripting）CSRF：跨站请求伪造（Cross-site request forgery）在那个年代，大家一般用拼接字符串的方式来构造动态 SQL 语句创建应用

2015-07-17 15:21:29 397

转载网络攻击技术——SQL Injection

1.1.1 摘要日前，国内最大的程序员社区CSDN网站的用户数据库被黑客公开发布，600万用户的登录名及密码被公开泄露，随后又有多家网站的用户密码被流传于网络，连日来引发众多网民对自己账号、密码等互联网信息被盗取的普遍担忧。网络安全成为了现在互联网的焦点，这也恰恰触动了每一位用户的神经，由于设计的漏洞导致了不可收拾的恶果，验证了一句话“出来混的，迟早是要还的”

2015-07-16 10:38:16 433

转载网站性能工具Yslow的使用方法

Yslow是雅虎开发的基于网页性能分析浏览器插件，从年初我使用了YSlow后，改变了博客模板大量冗余代码，不仅提升了网页的打开速度，这款插件还帮助我分析了不少其他网站的代码，之前我还特意写了提高网站速度的秘籍，就是通过这款插件分析得出的。网络上已经有不少Yslow使用说明了，本文我想介绍下我使用Yslow的方法和一些别人没提到的小技巧。Yslow的安装方法现在Yslow已经有很多版

2015-07-16 09:26:09 378

转载 libevent源码分析

1、入门1.1、概述Libevent是一个用于开发可扩展性网络服务器的基于事件驱动(event-driven)模型的网络库。Libevent有几个显著的亮点： (1)事件驱动（event-driven），高性能；(2)轻量级，专注于网络，不如 ACE 那么臃肿庞大； (3)源代码相当精炼、易读； (4)跨平台，支持 Windows、Linux、*BSD和 Mac Os；

2015-07-15 17:35:55 303

转载堆(heap)

作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！堆(heap)又被为优先队列(priority queue)。尽管名为优先队列，但堆并不是队列。回忆一下，在队列中，我们可以进行的限定操作是dequeue和enqueue。dequeue是按照进入队列的先后顺序来取出元素。而在堆中，我们不是按照元素进入队列的先后顺序

2015-07-15 17:29:46 417

转载 GC学习笔记

这是我公司同事的GC学习笔记，写得蛮详细的，由浅入深，循序渐进，让人一看就懂，特转到这里。一、GC特性以及各种GC的选择1、垃圾回收器的特性2、对垃圾回收器的选择2.1 连续 VS. 并行2.2 并发 VS. stop-the-world2.3 压缩 VS. 不压缩 VS. 复制二、GC性能指标三、分代回收四、J2SE 5.0

2015-07-15 17:18:06 277

原创 ubuntu下配置LNMP开发环境

1、安装nginxnginx当前最新稳定版是nginx-1.9.1首先，下载nginx。登陆Linux后，进入系统根目录，执行下面命令：cd /usr/src # 一般软件源码放在这个目录下sudo wget http://nginx.org/download/nginx-1.9.1

2015-06-01 15:31:23 393

转载 HTTP2报文头及数据帧格式解析实例分析（转）

一、HEAD HPACK压缩协议格式说明,HPACK压缩的二进制格式采用以下2种格式：1、用索引标识头域，如下所示，0位固定为1，其它7bit标识索引值，索引参考下面的静态表格，如82代表 -> :method: GET。 0 1 2 3 4 5 6 7 +---+---+---+---+---+---+---+---+ | 1 |

2015-06-01 14:48:38 1229

转载如何调试PHP程序（转）

调试的定义：通过一定方法，在程序中找到并减少缺陷的数量，从而使其能正常工作。这里说一些如何调试PHP程序的经验。一、PHP自带的调试功能1、自带的报错功能两个名词：开发环境是开发人员在进行开发和调试的环境，生产环境是最终客户在用的线上环境；开发环境和生产环境要分开设置报错功能。（1）开发环境开发环境需要打开报错，以下是php.ini的配置项及其说明：

2015-06-01 14:47:10 425

转载 SVN实用经验贴（转）

1，软件下载下载Subversion服务器程序。到官方网站的下载二进制安装文件，来到二进制包下载部分，找到 Windows NT, 2000, XP and 2003部分，然后选择Apache 2.0 或者 Apache 2.2，这样我们可以看到许多下载的内容，目前可以下载Setup-Subversion-1.5.3.msi 。下载Subversion的Windows客户端Tor

2015-06-01 09:26:29 303

转载（转）Hadoop c++开发

假设你有上百G的数据，你要统计出这些数据中，含有某些你感兴趣的内容的数据的有多少条，你会怎么做？在硬件条件允许的情况下，用hadoop并行计算是一个不错的选择。为了使本文得以清晰地说明，我们不妨假设如下的情况：我们有100G的数据，分别保存在5个文件中，它们位于 /data/ 目录下。这5个数据文件的内容均为相同的格式，即，文件的内容大致如下：ABCDSDFKJ

2015-05-27 09:32:54 408

转载（转）hadoop上运行c++程序步骤

一。写一个程序保存为wordcount-simple.cpp：#include "hadoop/Pipes.hh"#include "hadoop/TemplateFactory.hh"#include "hadoop/StringUtils.hh"const std::string WORDCOUNT = "WORDCOUNT";const std::string INPUT_WORDS =

2015-05-27 09:04:20 467

转载如何处理海量数据(转)

在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处

2015-05-27 08:50:23 560

转载 [转]Ubuntu10.04的网络配置

设置网络就是指定ip地址和DNS服务器:在ubuntu下的相关配置文件分别是:/etc/network/interfaces 和 /etc/resolv.conf 两个文件:可以通过man命令:查看这两脚本文件的格式说明:wzb@ubuntu:~$ man interfaceswzb@ubuntu:~$ man resolv.conf 首先,通过命令 : ifconfig

2015-05-26 16:07:18 357

转载 [转]XAMPP 的安装配置(Linux 版)

XAMPP 是一个易于安装且包含 MySQL、PHP 和 Perl 的 Apache 发行版。XAMPP 的确非常容易安装和使用：只需下载，解压缩，启动即可。该软件以前被称作 LAMPP.XAMPP 背后的理念，是为想进入 Apache 世界的开发者提供一套易于安装的发行版。为了方便开发者， XAMPP 被默认配置为所有功能全部开启。从安全的角度看，默认配置并不理想，对生产环境也不

2015-05-26 15:39:06 487

转载 Ubuntu安装完后设置root密码

1、用当前登录用户打开终端，在终端输入命令 sudo passwd，输入当前用户的密码然后回车2、会提示输入新密码，输入完成后回车3、然后提示再输入一次新密码以确认，然后回车，设置成功注意：这个新密码就是root的密码，可以与当前用户的密码不同。在终端中输入 su root，然后输入root的密码，验证成功即可切换到root用户。在root用户下做完操作后，用exi

2015-05-26 15:39:03 206

掌勺者的博客