Python：mechanize模拟浏览器行为

最新推荐文章于 2024-08-09 07:50:33 发布

木东居士

最新推荐文章于 2024-08-09 07:50:33 发布

阅读量6.9k

点赞数 2

文章标签： python 数据 mechanize 模拟浏览器

本文链接：https://blog.csdn.net/zhaodedong/article/details/46432921

版权

本文介绍了Python的Mechanize模块，用于模拟浏览器行为，包括登录论坛、发帖等任务。通过Mechanize的常见函数如CookieJar、Browser、addheaders、open、select_form、form[]和submit，可以实现Web交互。文中提供了从百度搜索和登录论坛发帖的示例。

摘要由CSDN通过智能技术生成

Python有许许多多有趣的模块，每当自己需要解决某个问题的时候，Python总能冒出来一两个让你惊喜的小玩意。比如说用于数值计算的Numpy（强大而方便的矩阵能力），用于数据分析的Pandas（和R语言有非常多相似的功能，在读写各种文件以及数据处理上会让人有种把excel、R、机器学习融合起来使用的感觉），用于爬虫内容提取的BeautifulSoup（点对点的精准数据获取，使用非常方便），以及最近正在使用的用于模拟浏览器登录的Mechanize。

业务需求

既谈技术，先明需求，学习Mechanize的真实目的不方便描述，以下是学Mechanize带来的福利。

现有一论坛，由于某种特殊原因需要定时发帖。比如一些校园内网的BBS，如果想浏览帖子，必须先登录。也就是说现在需要一个工具，能够登录该论坛，然后在相应的文本输入框中输入汉字，最后提交。

其实原理就是模拟浏览器和Server交互的一个过程，主要在于协议的一些理解。经过一些调研，有两种方案可选：Java的HttpClient和Python的Mechanize。两者都可实现模拟浏览器进行交互的一些功能，实现难度都不大。

HttpClient的方便之处在于文档比较全，还可以直接看源码，官网（https://hc.apache.org/index.html）还有各种小例子，有些可以直接使用。目前最新版本是4.5。

Mechanize使用比较简单，它保留许多与出色的 Expect 脚本相同的东西，它的使用过程，比如.select_form()、.submit()、.follow_link()等方法确实比较还原真实的“查找并发送”操作。遗憾的是文档并不想网上说的那么详细，官方给了几个例子，但是没有像Java那样的API，好多方法需要自己来摸索和看网上的例子，在使用的时候想查看所有的方法介绍比较麻烦。但是这不能阻挡我使用它的决心。Mechanize很久没更新了，目前版本是0.2.5。官网：http://wwwsearch.sourceforge.net/mechanize/