- 博客(15)
- 收藏
- 关注
原创 更换代理爬取文章
from urllib.parse import urlencodeimport requestsimport pymongofrom requests.exceptions import ConnectionErrorfrom pyquery import PyQuery as pqclient = pymongo.MongoClient('localhost')db = clie...
2018-02-19 20:12:52 249
原创 selenium抓取JS加密图片
from bs4 import BeautifulSoupfrom selenium import webdriver import urllib.requesturls = ('http://jandan.net/ooxx/page-{}#comments'.format(i) for i in range(233,238))x = 1 user_agent = 'Mozi...
2018-02-17 14:55:33 1052
原创 python requests简易爬取资讯
import requestsfrom bs4 import BeautifulSoupdef url_list2(): content = [] for page in range(1,5): urls = 'https://laod.cn/news/page/'+str(page) res = requests.get(urls) ...
2018-02-17 10:24:57 361
原创 python抓取淘宝商品信息
from selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom seleniu...
2018-02-17 08:35:41 1092
原创 多进程爬取电影排行榜
import requestsfrom requests.exceptions import RequestExceptionfrom multiprocessing import Poolimport reimport jsondef get_one_page(url): try: response = requests.get(url) if...
2018-02-12 20:29:09 220
原创 Python练习 requests+BeautifulSoup抓取ZD页面
import requestsfrom bs4 import BeautifulSoup#保存url列表为文件with open('a.txt', 'w') as f:def url_list(): for page in range(1,6): urls = 'http://www.zdfans.com/zd423/page/'+str(page)
2018-01-21 13:42:52 256
原创 python练习 requests有道查询
import requestsimport jsonwhile True: word = input('请输入要翻译的词语(Q键退出)') if word == 'Q': break else: data = {} data['i'] = word data['from'] = 'AUTO'
2018-01-09 12:16:39 484
原创 Python练习 scrapy 爬取汽车之家文章
autohome.py #spider文件# -*- coding: utf-8 -*-import scrapyfrom Autohome.items import AutohomeItemclass AutohomeSpider(scrapy.Spider): name = 'autohome' allowed_domains = ['https://www.au
2018-01-05 10:14:14 1113
原创 python 练习题4 爬虫有道词典
import urllib.requestimport urllib.parseimport jsonwhile True: txt = input('请输入要翻译的内容(退出输入Q):') if txt == 'Q': break else: url = 'http://fanyi.youdao.com/translate?smartresul
2017-12-28 13:46:45 332
转载 Python中的list/tuple/dict/set详解
listList存储一系列的有序集合,并且元素内容可变(可更改、删除、添加)。>>> fruits=['apple','orange','pear','banana']>>> fruits[0]'apple'>>> fruits[-1]'banana'
2017-12-25 12:33:59 252
转载 完全理解 Python 迭代对象、迭代器、生成器
容器(container)容器是一种把多个元素组织在一起的数据结构,容器中的元素可以逐个地迭代获取,可以用in, not in关键字判断元素是否包含在容器中。通常这类数据结构把所有的元素存储在内存中(也有一些特例,并不是所有的元素都放在内存,比如迭代器和生成器对象)在Python中,常见的容器对象有:list, deque, ….set, frozensets, ….d
2017-12-25 12:08:30 277
原创 python练习题 3 计时器
import time as tclass MyTimer(): def __init__(self): self.unit = ['年','月','日','时','分','秒'] #定义单位 self.prompt = '未开始计时' #默认prompt属性 self.lasted = [] #间隔时间为
2017-12-24 18:37:18 438
原创 python 魔法方法
1..__init__:构造初始化函数,在创建实例对象为其赋值时使用,在__new__之后,__init__必须至少有一个参数self,就是这个__new__返回的实例,__init__是在__new__的基础上可以完成一些其它初始化的动作,__init__不需要返回值。2..__new__创建并返回一个实例对象,如果__new__只调用了一次,就会得到一个对象。继承自obje
2017-12-23 12:57:09 347
原创 python练习题 1 简易登录
user_data = {} #定义一个集def new_user():#新用户函数 prompt = '请输入用户名' while True: name = input(prompt) if name in user_data: print('用户名已存在,请重新输入') continue else:
2017-12-22 14:52:14 566
原创 python练习题 0 电话本
print('输入1查询联系人')print('输入2插入联系人')print('输入3删除联系人')print('输入4退出通讯录')phone = dict()while 1: w = int(input('\n输入数字执行操作')) if w == 1: name = input('请输入联系人') if name in phone:
2017-12-22 11:27:13 250
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人