- 博客(13)
- 资源 (8)
- 收藏
- 关注
转载 python之shutil模块
[python] view plaincopyprint? shutil -- High-level file operations 是一种高层次的文件操作工具 类似于高级API,而且主要强大之处在于其对文件的复制与删除操作更是比较支持好。 相关API介绍 ?copyfile(src, dst) 从源src复制到dst中去。当然前提是目标地址是
2013-11-29 10:52:30 619
转载 Python抓取框架Scrapy入门教程
我们将使用开放目录项目(dmoz)作为抓取的例子。 这篇入门教程将引导你完成如下任务: 创建一个新的Scrapy项目 定义提取的Item 写一个Spider用来爬行站点,并提取Items 写一个Item Pipeline用来存储提取出的Items Scrapy是由Python编写的。如果你是Python新手,你也许希望从了解Python开始,以期最好的使用Scrapy。如果你对其它编程
2013-11-26 17:10:44 928
转载 Some Experiences Of Using Scrapy
About Scrapy Scrapy是一个抓取网站的框架,用户需要做的只是定义抓取网站的spider,并在其中定义抓取的规则,获取需要抓取的数据,Scrapy管理其他复杂的工作,比如并发请求,提取之后的数据保存等。 Scrapy 声称他们“偷取”了Django的灵感,虽然两者的方向怎么都联系不到一起去,但是确实如果对Django有了解,对Scrapy的结构会感到很亲切。 Scrapy也会有项
2013-11-26 15:51:58 657
转载 scrapy使用方法概要
一般所说的爬虫工作分为两个部分,downoader 和 parser: downloader输入是url列表,输出抓取到的rawdata,可能时候是html源代码,也可能是json,xml格式的数据。 parser输入是第一部分输出的rawdata,根据已知的规则提取所需的info 图1. 简单爬虫 图1所示的是最简单的爬虫,不考虑解析url,并把rawdata中的url提取做进一
2013-11-26 14:59:17 1027
原创 Scrapy安装过程
一、Scrapy简介 Scrapy is a fast high-level screenscraping and web crawling framework, used to crawl websites and extractstructured data from their pages. It can be used for a wide range of purposes,from
2013-11-25 10:05:59 657
转载 python遍历文件夹和文件
在Python中,文件操作主要来自os模块,主要方法如下: os.listdir(dirname):列出dirname下的目录和文件 os.getcwd():获得当前工作目录 os.curdir:返回当前目录('.') os.chdir(dirname):改变工作目录到dirname os.path.isdir(name):判断name是不是一个目录,name不是目录就返回false
2013-11-21 20:43:19 674
转载 python下的MySQLdb使用
下载安装MySQLdb linux版本 http://sourceforge.net/projects/mysql-python/ 下载,在安装是要先安装setuptools,然后在下载文件目录下,修改mysite.cfg,指定本地mysql的mysql-config文件的路径 windows版本 网上搜索到一个http://www.technicalbard.com/files/MySQ
2013-11-21 17:41:45 621
转载 C++调用PythonAPI线程状态和全局解释器锁(转)
Python 解释器不是完全线程安全的。当前线程想要安全访问Python对象的前提是获取用以支持多线程安全的全局锁。没有锁,甚至多线程程序中最简单的操作都会发生问题。例如,两个线程同时增加一个对象的引用计数,该引用计数可能只增加了一次而非两次。 因此,存在一个规则:只有获得了全局解释器锁的线程才能操作 Python对象或者调用Python/C API函数。为了支持多线程Python 编
2013-11-14 19:07:58 2228
转载 Python常见文件操作的函数示例
# -*-coding:utf8 -*- ''''' Python常见文件操作示例 os.path 模块中的路径名访问函数 分隔 basename() 去掉目录路径, 返回文件名 dirname() 去掉文件名, 返回目录路径 join() 将分离的各部分组合成一个路径名 split() 返回(dirname()
2013-11-14 09:59:14 615
原创 c++中调用python总结
最近,由于项目需求研究了下在c++中调用python代码的方法,其中遇到了不少问题,但最终还是予以解决,为了以后能更好的运用它,现将使用心得总结一下: 当我们在c++程序嵌入Python解析器执行一些简单的Python 脚本脚本很容易,但是当python解析器用到扩展模块时和多个线程都需要Python解析器执行脚本时,会遇到 程序异常终止的问题 相关文档:http://docs
2013-11-06 17:43:41 2097
转载 Python 解析器
嵌入Python解析器执行一些简单的Python 脚本脚本很容易,但是当python解析器用到扩展模块时和多个线程都需要Python解析器执行脚本时,遇到了一些麻烦问题,下面是在查看帮助文档过程中,一些简单的翻译记录: Py_NewInterpreter(): Create a new sub-interpreter. This is an (almost) totally
2013-11-06 12:23:45 3026
转载 vc编译选项解释
VC编译选项 /Od 禁用优化(默认值) disable optimizations (default) /Ox 最大化选项。(/Ogityb2 /Gs) maximum opts. (/Ogityb1 /Gs) /Og 启用全局优化 enable global optimization /Oy[-] 启用框架指针省略 enable frame pointer omission
2013-11-01 11:59:00 700
转载 APR介绍
APR分析-整体篇 由于部门所使用的底层库与Apache Server有着“一定的渊源”,所以总有一种想看看Apache的实现的冲动。最近项目收尾,愿望终可实现。 一、何为APR? Apache Server经过这么多年的发展后,将一些通用的运行时接口封装起来提供给大家,这就是Apache Portable Run-time libraries, APR。
2013-11-01 11:55:52 2868
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人