Autoweb -- 编写&分享你的web抓取器

起因:

业余工作中需要一些数据采集工作, 发现这种事情特点是: 逻辑简单/容易出错, 并且重复性工作很高.

搞了几个抓取器后, 总算总结了一些规律, 把他们抽取成了一个framwork. 看看谁能用着就那取用.

下面我一步步介绍autoweb的使用:

1. 安装
gem install autoweb
安装前需要安装以下包:
*curl
* wget
* hpricot
注意: 我只在mac 和 linux环境上测试过, window上如有问题, 请mail我

2. 看教程&例子
教程
* http://github.com/dazuiba/autoweb
* http://dazuiba.iteye.com
例子
http://github.com/dazuiba/autoweb/tree/master/commands/