2017年03月_程序猿玩AI

06月 05月 04月 03月 02月

原创网络爬虫之HTMLParser

HTMLParser是python自带的网页解析工具，使用很简单。便于HTML文件的解析下面我们来看相关代码： class Newparser(HTMLParser): def __init__(self): HTMLParser.__init__(self) self.flag=False self.text=[]

2017-03-28 23:15:39 360

原创 Django之模型三

下面继续介绍数据库的一些应用： Values获取字典形式的结果。 ret=Person2.objects.values('name','age') 结果如下，可以看到类型其实还是QuerySet还不是字典的形式可以先将类型转成List的形式。 ret=list(Person2.objects.values('name','age'))[0] V

2017-03-27 22:48:47 350

原创 python-cookbook学习笔记一

python-cookbook这边书里面有很多实用的python模块介绍，这里将我的学习笔记共享下。我用的是python-cookbook第三版，python-cookbook第三版是针对python3.3的，我采用的还是2.7.6. 但多数模块都能兼容假设有M个元素的列表，需要从中分解出N个对象，N record=['zhf','zhf@163.com','775-555-1212',

2017-03-26 15:20:16 572

原创网络爬虫之lxml

Python lxml包用于解析html和XML文件，个人觉得比beautifulsoup要更灵活些 Lxml中的路径表达式如下：在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：路径表示中还可以选取多个路径，使用’|’运算符，比如下面的样子： //book/title | //book/price 选取 book 元素的所有 titl

2017-03-24 22:30:15 323

原创 Django之模型二

前面讲了模板也就是数据库的创建，那么如何对这些数据库进行更新呢，道理也是根据url中的信息。 http://127.0.0.1:8001/create/?name=zhf&age=30 输入如下地址，其中name=zhf,age=30. Person2的模板如下：包含name和age两个字段。 class Person2(models.Model): name=models.

2017-03-20 22:09:45 406

原创网络爬虫之beautifulsoup

一个网页的节点太多，一个个的用正则表达式去查找不方便且不灵活。BeautifulSoup将html文档转换成一个属性结构，每个节点都是python对象。这样我们就能针对每个结点进行操作。参考如下代码 def parse_url(): try: req=urllib2.Request('http://www.xunsee.com/article/8c39f5a0-ca5

2017-03-13 22:15:52 4312

原创 Django之模型

在web应用中，经常涉及到和数据库的的交互，比如我们在京东上买一个东西，查询的时候网站会自动转到后端数据库去查询，然后呈现在网页上 Django 里更关注的是模型（Model）、模板(Template)和视图（Views），Django也被称为 MTV 框架。在 MTV 开发模式中： M 代表模型（Model），即数据存取层。该层处理与数据相关的所有事务：如何存取、如何验证有效性、包含哪

2017-03-07 22:19:49 457

原创网络爬虫之链接网页

访问网页首先要请求URL，也就是网址链接。Python提供了urllib2函数进行链接。具体如下： import urllib2 req=urllib2.Request('http://www.baidu.com.cn') fd=urllib2.urlopen(req) Request里面的第一个参数为网址的链接，里面还可以携带头信息以及具体要传递给网址的信息。这样说比较抽象。我们用w

2017-03-06 22:29:54 774

第一次接触到python是一个很偶然的因素，由于经常在网上看连载小说，很多小说都是上几百的连载。因此想到能不能自己做一个工具自动下载这些小说，然后copy到电脑或者手机上，这样在没有网络或者网络信号不好的时候都可以看。当时还不知道网络爬虫的概念。工作学习中用得最多的是C编程，但是对于网络世界而言，C确实不是一个好的语音，C更多面向硬件和内核。基于想自己下载网络小说的念头，认识到了python.使用

2017-03-05 10:30:24 482 1

原创 Django之视图与模板

在网页上经常要输入账号或者登陆密码之类的，这些信息有些是通过url中的参数传递给后台进行处理的比如http://127.0.0.1:8001/add/?a=4&b=5。这个链接传入a=4,b=5.后台将进行a+b的处理新增处理函数 def add(request): a=request.GET['a'] b=request.GET['b'] return

2017-03-02 11:23:33 246