- 博客(6)
- 资源 (3)
- 收藏
- 关注
原创 【转】Python多线程学习
一、Python 中的线程使用: Python 中使用线程有两种方式:函数或者用类来包装线程对象。 1、 函数式:调用 thread 模块中的 start_new_thread() 函数来产生新线程。如下例: import time import thread def timer(no, interval): cn...
2012-05-15 17:38:03
99
原创 在项目中定制python的logging模块的实例
在一个项目中,日志模块是必不可少的,健壮的日志输出有助于及时发现问题和调试。python的日志模块logging为我们提供了强大的日志功能。 一.logging模块简介 我们先看一个标准的程序: import logging logger=logging.getLogger() handler=logging.FileHandler("Log_test.txt") logger.a...
2011-11-04 17:36:36
388
原创 关于错误"MySQL server has gone away"
最近在做一个爬虫程序,是对一个网站的全站数据收集。程序调好后跑了一晚上,第二天来看就出现了“MySQL server has gone away”的错误, 调了半天以为是程序哪里的逻辑没对,写了单元测试也是通过的。。百思不得其解。 后来网上一搜才知道了原因 一般有两种情况会导致"MySQL server has gone away"的错误 1.mysql实例化后长时间没有对其操作,造...
2011-10-31 10:53:13
145
原创 搜索引擎中的robots.txt的作用
今天看一本关于爬虫的书,直到了关于robots.txt的约定。 Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 robots.txt必须放置在一个站...
2011-10-27 17:07:09
183
原创 宽度优先遍历爬虫的python实现
网上很著名的一本爬虫教程《自己手动写网络爬虫》,该书所有源码是用java编写的, 其中提到了宽度优先遍历算法,闲来无事我把他用python实现了一遍。代码量少了将近一半,呵呵。 宽度优先算法介绍 参考:http://book.51cto.com/art/201012/236668.htm 整个的宽度优先爬虫过程就是从一系列的种子节点开始,把这些网页中的"子节...
2011-10-08 16:38:57
406
原创 python访问需要登录的网页
有些网页需要你登录之后才可以访问,你需要提供账户和密码。 只要在发送http请求时,带上含有正常登陆的cookie就可以了。 1.首先我们要先了解cookie的工作原理。 Cookie是由服务器端生成,发送给User-Agent(一般是浏览器),浏览器会将Cookie的key/value保存到某个目录下的文本文件内,下次请求同一网站时就发送该Cookie给服务器(前提是浏览器设置为启用coo...
2011-10-08 16:09:32
2507
python logging实例
2012-05-11
easygui一个python简单的gui库
2009-11-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人