人僧苦短-CSDN博客

原创更换代理爬取文章

from urllib.parse import urlencodeimport requestsimport pymongofrom requests.exceptions import ConnectionErrorfrom pyquery import PyQuery as pqclient = pymongo.MongoClient('localhost')db = clie...

2018-02-19 20:12:52 242

原创 selenium抓取JS加密图片

from bs4 import BeautifulSoupfrom selenium import webdriver import urllib.requesturls = ('http://jandan.net/ooxx/page-{}#comments'.format(i) for i in range(233,238))x = 1 user_agent = 'Mozi...

2018-02-17 14:55:33 1046

原创 python requests简易爬取资讯

import requestsfrom bs4 import BeautifulSoupdef url_list2(): content = [] for page in range(1,5): urls = 'https://laod.cn/news/page/'+str(page) res = requests.get(urls) ...

2018-02-17 10:24:57 355

原创 python抓取淘宝商品信息

from selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom seleniu...

2018-02-17 08:35:41 1087

原创多进程爬取电影排行榜

import requestsfrom requests.exceptions import RequestExceptionfrom multiprocessing import Poolimport reimport jsondef get_one_page(url): try: response = requests.get(url) if...

2018-02-12 20:29:09 212

原创 Python练习 requests+BeautifulSoup抓取ZD页面

import requestsfrom bs4 import BeautifulSoup#保存url列表为文件with open('a.txt', 'w') as f:def url_list(): for page in range(1,6): urls = 'http://www.zdfans.com/zd423/page/'+str(page)

2018-01-21 13:42:52 244

原创 python练习 requests有道查询

import requestsimport jsonwhile True: word = input('请输入要翻译的词语(Q键退出)') if word == 'Q': break else: data = {} data['i'] = word data['from'] = 'AUTO'

2018-01-09 12:16:39 476

原创 Python练习 scrapy 爬取汽车之家文章

autohome.py #spider文件# -*- coding: utf-8 -*-import scrapyfrom Autohome.items import AutohomeItemclass AutohomeSpider(scrapy.Spider): name = 'autohome' allowed_domains = ['https://www.au

2018-01-05 10:14:14 1093

原创 python 练习题4 爬虫有道词典

import urllib.requestimport urllib.parseimport jsonwhile True: txt = input('请输入要翻译的内容(退出输入Q)：') if txt == 'Q': break else: url = 'http://fanyi.youdao.com/translate?smartresul

2017-12-28 13:46:45 323

转载 Python中的list/tuple/dict/set详解

listList存储一系列的有序集合，并且元素内容可变（可更改、删除、添加）。>>> fruits=['apple','orange','pear','banana']>>> fruits[0]'apple'>>> fruits[-1]'banana'

2017-12-25 12:33:59 248

转载完全理解 Python 迭代对象、迭代器、生成器

容器(container)容器是一种把多个元素组织在一起的数据结构，容器中的元素可以逐个地迭代获取，可以用in, not in关键字判断元素是否包含在容器中。通常这类数据结构把所有的元素存储在内存中（也有一些特例，并不是所有的元素都放在内存，比如迭代器和生成器对象）在Python中，常见的容器对象有：list, deque, ….set, frozensets, ….d

2017-12-25 12:08:30 271

原创 python练习题 3 计时器

import time as tclass MyTimer(): def __init__(self): self.unit = ['年','月','日','时','分','秒'] #定义单位 self.prompt = '未开始计时' #默认prompt属性 self.lasted = [] #间隔时间为

2017-12-24 18:37:18 428

原创 python 魔法方法

1..__init__：构造初始化函数，在创建实例对象为其赋值时使用，在__new__之后，__init__必须至少有一个参数self，就是这个__new__返回的实例，__init__是在__new__的基础上可以完成一些其它初始化的动作，__init__不需要返回值。2..__new__创建并返回一个实例对象，如果__new__只调用了一次，就会得到一个对象。继承自obje

2017-12-23 12:57:09 342

原创 python练习题 1 简易登录

user_data = {} #定义一个集def new_user():#新用户函数 prompt = '请输入用户名' while True: name = input(prompt) if name in user_data: print('用户名已存在,请重新输入') continue else:

2017-12-22 14:52:14 560

原创 python练习题 0 电话本

print('输入1查询联系人')print('输入2插入联系人')print('输入3删除联系人')print('输入4退出通讯录')phone = dict()while 1: w = int(input('\n输入数字执行操作')) if w == 1: name = input('请输入联系人') if name in phone:

2017-12-22 11:27:13 242

zhangjiabin1010的博客