520SolarRain-CSDN博客

原创公有云和私有云

说一说自己对云存储的理解：公有云：云服务商提供的，跑在云服务商的服务器上的，可以通过Internet访问，提供廉价，大的存储空间，用户将文件上传到云私有云：是面向个人或企业的非公开性质的，有设备的可用自己的服务器搭建，或者云服务提供商帮忙搭建，通过局域网，内部网搭建，一般保密性安全性比较高。适合金融等数据私密性高的企业。

2016-07-11 10:42:35 605

原创我的笔记本上的spark集群

—–为了学习spark 机器学习搭建的集群。为了防止我忘了，做以下说明使用的系统：centos7，32位虚拟机1-master 节点位置:E：/32/CentOS 64位（名字没起好）虚拟机2-slave 节点位置:E：/32/centos slave1.spark版本：spark-1.2.0-bin-hadoop1，安装路径：/home/zyq/spark-1.2.0

2016-01-09 13:55:51 487

Ipython 是一个 python 的交互式 shell，比默认的python shell 好用得多，支持变量自动补全，自动缩进，支持 bash shell 命令，内置了许多很有用的功能和函数。ipython的安装对python的版本是有要求的。之前centos6.4的系统自带的python4，重装了python6后虽然ipython0.12.1可以安装，但运行spark的时候就出现问题了./bi

2016-01-09 13:16:16 572

原创块设备驱动-流程

环境：centOS 虚拟机1.下载了一个块设备驱动源码类似于ramdisk 源码ramhd_mkreq.c2.生成Makefile文件，来编译此c文件[zyq@promote disk]$ cat Makefile obj-m := ramhd.oramhd-objs := ramhd_mkreq.oKERNELDIR := /lib/modules/$(shell uname -r)/

2015-12-28 16:47:40 655

原创 spark分布式集群

使用centOS虚拟机搭建集群，先设置一个虚拟机节点作为master，另一个直接克隆，后修改配置，关闭防火墙，设置hostname，并通过ssh免密码登陆使master直接访问，最后完成集群搭建。创建虚拟机： vmware中添加centos的镜像，创建linux虚拟机。作为主节点master。安装配置 1.下载jdk：jdk-7u79-linux-x64.tar.gz 放入/usr/java

2015-12-17 21:56:04 641

原创 linux设备使用--自己的理解

linux中一切皆文件，设备在linux也以文件的形式存放位于目录/dev要使用某存储设备要查看分区情况对存储设备分区还是远远不够的，我们还要对这些新增分区进行格式化；一个分区只有建立了某种文件系统后，这个分区才能使用；建立文件系统过程，就是用相应格式化工具格式化分区的过程；查看分区 #fdisk -l 设备在/dev/中/dev/sda

2015-12-11 15:45:24 373

原创初识django

一：安装下载Django-1.7.9，解压，运行setup。检验是否安装成功：在python命令行中>>> import django>>> django.get_version()'1.7.9'二：新建工程方法一： 1. 新建一个 django-projectdjango-admin.py startproject project-name先找到存放django-admin.py

2015-08-05 11:44:43 360

原创 jd尝试抓一个页面

通过分析html页面，发现评论以http://club.jd.com/review/xxxx-1-1-0.html 这种形式单独表现。通过分析html可知，评论即（心得）的位置。 html代码：<div class="comment-content"><dl><dt>标　　签：</dt><dd><span class="comm-tags" href="#none"><span>信号稳

2015-05-24 21:02:20 374

原创虚拟机中Linux克隆后相关配置

参考由于之前删了一天Linux虚拟机，导致现在hadoop集群datanode节点启动失败。现在需要重新克隆一台Linux。新克隆Linux后，需要对它进行相关配置，重新集成到hadoop集群中。下面记录具体配置过程。虚拟机中Linux克隆后相关配置-1 进入正题：一、完成克隆二、配置网卡、ip等具体过程参见另一篇博客：《VMware Linux网络配置问题》此处简单记录解决过程：1、修改

2015-05-23 15:42:25 1375

原创 ssh出现的问题

在原来节点失效的情况下重新建立虚拟机，配置需要修改。（原来的主节点里保存有从节点的信息记录）关键是原来master 节点里.ssh/known_hosts里保存有原先节点的秘钥信息。必须删除那个节点重新 ssh （新节点ip）才会自动生成新节点的秘钥记录

2015-05-23 11:49:19 420

转载 python技巧

1.最基本的抓站import urllib2 content = urllib2.urlopen('http://XXXX').read() 2.使用代理服务器这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。import urllib2 proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.XX.XX:X

2015-04-30 11:34:38 355

原创文件系统，块设备

参考虚拟文件系统（VFS）在文件系统的上一层，它封装了文件系统的实现，对于VFS更上一层来说，就不用知道操作的是何种具体的文件系统了。我们知道真正存放信息的是储存媒介（如磁盘）文件系统相当于媒介储存信息的协议（ext3、ntfs等）所谓mount指的是使用某种文件系统去操作储存媒介我们关心某个文件中的内容，但是对文件本身的信息（如创建日期、权限、大小）等也感兴趣，这些信息成为file

2015-04-25 10:00:47 485

原创 iops

磁盘性能指标–IOPS IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。随机读写频繁的应用，如小文件存储(图片)、OLTP数据库、邮件服务器，关注随机读写性能，IOPS是关键衡量指标。顺序读写频繁

2015-04-23 13:22:40 955

转载什么是ROM、RAM、DRAM、SRAM和FLASH的区别

ROM和RAM指的都是半导体存储器，ROM是Read Only Memory的缩写，RAM是Random Access Memory的缩写。ROM在系统停止供电的时候仍然可以保持数据，而RAM通常都是在掉电之后就丢失数据，典型的RAM就是计算机的内存。 RAM有两大类，一种称为静态RAM（Static RAM/SRAM），SRAM速度非常快，是目前读写最快的存储设备了，但是它也非常昂贵，所以只在要

2015-04-20 11:10:19 443

转载 urllib 和 request 对比

在HTTP相关处理中使用python是不必要的麻烦，这包括urllib2模块以巨大的复杂性代价获取综合性的功能。相比于urllib2,Kenneth Reitz的Requests模块更能简约的支持完整的简单用例。简单的例子：想象下我们试图使用get方法从http://example.test/获取资源并且查看返回代码，content-type头信息，还有response的主体内容。这件事无论使用

2015-04-17 09:54:09 8619

原创 pmfs 物理地址预分配

老板让测试pmfs在有预分配和无预分配功能这两个情况下的性能。工具：fio (师兄写的测试文件：test1) fio常用参数参考：http://blog.csdn.net/wyzxg/article/details/7454072 文件：/root/pmfs-master/pmfs/ 注意：由于pmfs是系统文件系统，我们先将他编译成模块，在加载。对pmfs的每一次修改要重新编

2015-04-16 22:01:14 1653 2

原创 python--代码规范

抓取网页指定信息这里是拿一帖吧做例子，主要要求：1.只抓取楼主发的帖子（这里通过分析URL看出只显示楼主帖子的网页地址后面会加“see_lz=1&pn=1”这个参数）2.显示帖子页数，内容定义了几个方法： getPage(self,pageNum) 通过传入pageNum的值得到想访问url的页面 getTitle(self) 获取楼主帖子标题 getPageNum(self) 抓取页

2015-04-15 16:48:05 515

原创抓取网页

1 正则表达式 import re #导入模块 import urllib #打开链接模块 from urllib import urlopen info=urlopen(“http://www.imdb.cn/title/tt0107985“).read() #对链接对应网页信息的读取 page=info.decode(“gb2312”).encode(“utf-8

2015-04-09 14:01:32 357

原创 Linux--目录

/bin 二进制可执行命令 /dev 设备特殊文件 /etc 系统管理和配置文件 /etc/rc.d 启动的配置文件和脚本 /home 用户主目录的基点，比如用户user的主目录就是/home/user，可以用~user表示 /lib 标准程序设计库，又叫动态链接共享库，作用类似windows里的.dll文件 /sbin 系统管理命令，这里存放的是系统管理员使用的管理程序

2015-03-10 19:08:05 336

原创 Linux--写一个简单的模块

1.创建一个目录#mkdir zhu #cd zhu #vim hello.c 编写一个名为hello的文件 2.hello.c:#include //所有模块都需要的头文件#include static int hello_init(void){ printk(KERN_ERR "hello world"); return

2015-03-09 20:02:42 391

原创 python--parser抓取网页信息

使用urllib模块来抓取网页信息。该模块提供了从URL打开网站的功能，用urllib.urlopen(url)方法打开此网站URL，并返回一个HTML文档，此时可以通过read（）方法来进行读操作。 url=”http://www.imdb.cn/title/tt0107985” info=urllib.urlopen(url) html=info.read() 虽然能实现读

2015-03-06 15:51:44 797

原创 ramfs--改写

改Ramfs中代码可以将ramfs的文件变成一个模块（相当于一个程序。不这样的话就是直接修改ramfs代码然后将整个内核编译一下才可以）

2015-03-05 21:35:39 361

原创 ramfs--源码 Makefile

Makefile文件体现ramfs依赖的模块。obj-y += ramfs.ofile-mmu-y := file-nommu.ofile-mmu-$(CONFIG_MMU) := file-mmu.oramfs-objs += inode.o $(file-mmu-y)ramfs-objs由inode.c，如果CONFIG_MMU配置为Y，那么还包括file-mmu.c，否则，包含fil

2015-03-05 21:33:24 542

原创 ramfs---源码 file-mmu.c

fs/ramfs/file-mmu.c —该文件中为ramfs_file_operations、ramfs_aops ramfs_file_inode_operations 的具体初始化。—const struct address_space_operations ramfs_aops = { .readpage = simple_readpage, .write_begi

2015-03-05 21:17:00 609

转载 ramfs--源码 inode.c

2015-03-05 20:48:03 573

原创 ramfs ----介绍

ramfs是一种最简单的文件系统定义：将Linux磁盘缓冲导出为一个可动态调整大小的基于RAM的文件系统。ramfs没有后备存储源。向ramfs中进行的文件写操作也会分配目录项和页缓存，但是数据并不写回到任何其他存储介质上。这意味着涉及的内存页不会被标记为“干净”状态，这样VM就不会回收分配给ramfs的内存。如何工作：它工作于虚拟文件系统（VFS）层。不能格式化

2015-03-05 20:42:17 771

转载 Python: 什么是*args和**kwargs

今天看源码的时候发现一个是*args和**kwargs，一看就能知道args是神马，就是所有参数的数组，kwargs就不知道了，google一下，一个人的blog写的比较简单明了，秒懂了~~kwargs就是当你传入key=value是存储的字典。补充一下：kwargs不影响参数位置例子：def test(a,*args,**kwargs): print a #p

2014-11-24 20:28:59 490

zhyeqing的专栏