2017年03月_张小竟

12月 06月 05月 04月 03月 02月 01月

原创 spring-mongdb 删除数组对象

spring-mongdb 删除数组对象

2017-03-24 13:21:50 378

原创 python scrapy 去重

1、Pipleline 加入如下代码：（在数据爬完后将URL塞入redis去重）class RedisInsert(object): def process_item(self,item,spider): set_redis_values_1(item['url']) return item2、Middleware加入如下代码：（在爬数据之前

2017-03-24 13:16:52 6766

原创监听进程并自动重启(两种方法)

第一种方法：crontab定时任务#!/bin/shcd /opt/java2/python/data=./Beginps -fe|grep $data |grep -v grepif [ $? -ne 0 ]thenecho begin `date '+%Y%m%d %H:%S:%M'`echo "start process....."sh /opt/java2/python

2017-03-24 13:09:41 6412

原创 spring-mongodb返回指定字段

spring-mongodb-data 返回指定字段

2017-03-15 15:06:00 11914

原创 Java Spring 删除mongodb数组内置文档

Java Spring 删除mongodb数组内置文档

2017-03-15 14:32:41 1287

原创 Python之Scrapy程序运用

本项目为Python爬取马蜂窝项目，使用scrapy项目作为框架，使用到代理，mongodb辅助存取爬取

2017-03-13 16:16:15 715 1

原创 redis删库

redis删库

2017-03-10 10:15:27 1902

原创 Python代理实现

这两天在看python代理IP实现，终于敲定了，哈哈，看代码from bs4 import BeautifulSoupimport requestsimport randomimport urllib2def get_ip_list(url, headers): web_data = requests.get(url, headers=headers) soup =

2017-03-09 10:55:00 1127

原创从0到某个数不重复随机数获取

需求：定义list集合从0开始，到自定义整数的随机数，要求不重复实现:定义一个listA集合从0开始，到自定义整数顺序排列，获取一个随机数，并查询在listA的位置，替换相应位置的数为size，并将这个随机数保存到listB

2017-03-09 10:35:47 1463

原创 json-lib 的Maven dependency

项目中要用到json-lib，mvnrepository.com查找它的dependency时结果如下

2017-03-09 10:27:07 290

原创 elasticsearch创建索引

elasticsearch创建索引

2017-03-08 17:39:50 373

原创 springboot集成log4j（完成错误信息邮件发送）

springboot集成log4j完成日志错误时发送邮件

2017-03-08 17:37:22 941

原创 WingIDE 激活方式

激活代码CalcActivationCode.pyimport shaimport stringBASE2 = '01'BASE10 = '0123456789'BASE16 = '0123456789ABCDEF'BASE30 = '123456789ABCDEFGHJKLMNPQRTVWXY'BASE36 = '0123456789ABCDEFGHIJKLMNOPQRSTUVW

2017-03-06 17:43:02 1087

原创 spring boot配置清单

# ===================================================================# COMMON SPRING BOOT PROPERTIES## This sample file is provided as a guideline. Do NOT copy it in its# entirety to your own appl

2017-03-01 16:43:29 428

原创如何使用Xshell秘钥认证登录CentOS(无密码登录)

现实生活中，密钥登录服务器总比密码登录服务器要安全的多的，今天，我就来说说密钥登录服务器的步骤

2017-03-01 16:24:02 1496

原创 redis导入导出工具

redis-dump redis-load 是一个非常好用的工具，今天，我来说说怎么安装，怎么使用redis-dump -u:112356@190.90.198.113:9379 >/mnt/zhang/redis/$date.json<$APP_PATH redis-load -u:112356@190.90.198.113:9379

2017-03-01 15:23:19 2626