Python中 etree.xpath实践

先记录下python的一个陷阱

如图：

python获取字典里不存在的字段返回None

None是一个特殊的常量。

None和False不同。

None不是0。

None不是空字符串。

None和任何其他的数据类型比较永远返回False。

None有自己的数据类型NoneType。

你可以将None复制给任何变量，但是你不能创建其他NoneType对象

当使用str()函数时，返回的是 'None' 字符串！！！！！

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------

下面说下自己使用xpath的情况

解析下面这个网页：http://www.520apk.com/android/shenghuoyingyong/100015839.html

详细信息源代码：

下载地址源代码

现在利用xpath分别从详细信息和下载地址源代码提取我们想要的

我们先获取class="app_top"的div（这个节点里面有要提取的app详细信息）：

tree = etree.HTML(webInfo) 
appInfoNodes=tree.xpath('/html/body/div[@class="wrapper wrapper_1000 clearfix"]/div[@class="arc_728 fl"]/div[@class="app_top"]')

这里使用的是绝对路径，即从html节点开始找，找body节点，再找body节点下class=‘wrapper wrapper_1000 clearfix‘的div，再在这个div节点下找class='app_top'的div节点，返回的是一个节点List对象。

接着获取class="dl-bd clearfix"的ul（这个节点有下载的链接）：

appDownload=tree.xpath('/html/body//ul[@class="dl-bd clearfix"]')

这句话的意思是从html节点开始，进入body节点，找body节点下所有的class="dl-bd clearfix"的ul节点（不管是不是直接节点），得到的结果即为网页源代码所示，有两个节点，返回的也是一个List对象。

开始提取所需的信息

                    appName=appInfoNodes[0].xpath('./h1/text()')[0] #从当前节点开始搜索
                    appInfo=appInfoNodes[0].xpath('./div[@class="app_right"]/p')
                    appCategory=appInfo[0].xpath('./a/text()')[0] #text()返回的是一个list
                    appVersion=appInfo[0].xpath('./span[2]/text()')[0] #span标签从1开始
                    appSize=appInfo[1].xpath('./span[1]/text()')[0]
                    appUploadDate=appInfo[1].xpath('./span[2]/text()')[0]
                    appDeviceRestriction=appInfo[1].xpath('./span[3]/text()')[0]
                    appRating=appInfo[3].xpath('./cite/text()')[0]
                    appDownloadLink=appDownload[0].xpath('./li[4]/a')#xpath返回的始终是一个list，尽管结果只有一个元素
                    appDownloadUrl=appDownloadLink[0].get('href','')

上面这段代码中，

                   appName=appInfoNodes[0].xpath('./h1/text()')[0] #从当前节点开始搜索

前面讲了，xpath解析时返回的是一个List，不管返回的结果有多少个，而且这个List从下标0开始，因为前面解析的app信息只有一个节点，即class="app_top"的div。这句代码是指以appInfoNodes[0]这个节点（即div节点，以‘ . ’ 表示当前节点）为起始节点，搜索其节点下的h1标签，使用text()获得h1标签的文本内容，返回的也是一个List，故使用[0]获得第一个文本内容，也即源代码里的“腾讯路宝 3.0.0.1”，这句代码还可以替换成这样：

 appNameNode=appInfoNodes[0].xpath('./h1')[0] #从当前节点开始搜索
appName=appNameNode.text

这里的意思是先获得h1标签节点，注意这里不要忘了[0]，再获取这个节点的文本内容

其他代码也类似，但要注意xpath解析网页里的标签是从1开始计数，比如下面这句：

 appVersion=appInfo[0].xpath('./span[2]/text()')[0] #span标签从1开始

获取app的版本，我们先搜索定位到如下源代码：

获取里面的span标签，这里有两个，其中版本在第二个span标签，故这里使用span[2]，而不是span[1]