微信指数批量采集、导出

14人阅读 评论(0) 收藏 举报
分类:

【内容摘要】


备注:本文只做采集思路的笔记,不做具体技术文档。微信在2017年上旬推出了微信指数这个小程序,可以根据用户输入的关键词查询该关键词7天、30天、90天的搜索热度。本文旨在记录批量采集微信指数的思路。


【正文】


由于老婆大人工作需要,不得已研究了一下如何批量导出“微信指数”小程序中的关键词指数。

一、手动+代理

    由于时间紧任务重T.T,起先采用了一个比较笨的方法,利用anyproxy抓包手机流量,找到关键词指数信息对应的json文件。思路是没输入一个关键词,就将对应的json文件保存下来,手动替换所有不要的信息,保存到txt文件中。

    此方法优点是简单!任何抓包工具或软件如anyproxy、fiddler或Apache proxy都能找到对应的json文件,缺点也是很明显的,就是要手动输入!效率低!还要手动替换不要的json中的符号,存为excel更是麻烦!

二、手动+代理+脚本

    吸取上一个版本的经验,为了加快采集效率,仍然采用anyproxy抓包关键词对应的json文件,然后通过anyproxy提供的接口,编写自动化保存的脚本,由于各个工具采用的语言不太一样,anyproxy采用nodejs语言编写对应的接口,因此,此处就省略脚本代码。思路很简单,就是当代理服务器侦测到json文件后,就将相应的关键词信息:微信指数存到txt文本或者数据库中,这样,就节省了手动保存的过程。

    此方法的优点是相比方法一节省了手动保存指数的过程,而且可以通过脚本定制存储的方式和格式,缺点仍然是需要手动输入关键词,不够自动化。

三、手机自动模拟按键输入关键词+代理+脚本

    老婆采集的关键词需求增加到了上百个,仍要手动输入是不现实的,此时就需要手机能够自动在微信指数小程序的搜索框输入关键词。只要能够自动输入关键词,其余方法就和二差别不大了。对于如何实现手机的按键精灵以及相应的代码(本人采用的是android系统的模拟器),百度是个好东西哈哈哈。

    此方法优点是采集的自动化程度相对比较高了!只需要有一个关键词列表文件存在手机中,就可进行自动化采集!缺点也是有的,写按键精灵蛮费事的,我也没做过Android,点击过程偶尔会出现bug,需要人工盯着。


四、python+url分析

    分析抓包得到的json文件的url,可以发现他们是有规律的,相应的参数是由小程序生成的,因此,用python写了一个小爬虫对分析得到的url进行采集!居然成功了!思路就是利用app小程序生成参数!传值到python中,然后拼接url并进行采集即可!此方法十分高效!我定了每秒3个json数据仍然可以采集(如果想效率更高可以减少采集间隔,至于会不会被封我还没试)。此方法美中不足的是url参数并不是固定的,需要app定期生成。


五、待大神完善

    能力有限,肯定还有更方便高效的采集方式,等待网络上各路大神各显神通^ ^。


以下是我导出的指数的一些格式,留待参考。

(1)txt格式的


(2)Excel横版格式的


(3)Excel竖版格式的



如有需要批量导出微信指数的也可以联系qq 569572698,非诚勿扰。


查看评论

毕业论文 百度指数采集

百度指数采集, 毕业论文百度指数
  • JYSG9
  • JYSG9
  • 2017-02-22 00:05:48
  • 915

微信公众号之批量保存文章图片( 亲测有效!)

1. 在pc上打开网页,网页保存成pdf【注意,由上到下刷新出所有图片再保存】2. pdf保存成word 3. word保存成网页 最后出现的文件夹里的照片就是所有链接里的照片......
  • cp_oldy
  • cp_oldy
  • 2016-09-13 10:33:40
  • 3583

微信公众号开发之如何一键导出微信所有用户信息到Excel

微信开发交流群:148540125 系列文章参考地址 极速开发微信公众号欢迎留言、转发 项目源码参考地址 点我点我–欢迎Start极速开发微信公众号系列文章之如何一键导出微信所有用户信息到Exce...
  • zyw_java
  • zyw_java
  • 2017-03-11 12:33:41
  • 5316

vs2015开发的批量采集百度搜索引擎并导出(包含源代码)

  • 2017年12月27日 14:46
  • 3.51MB
  • 下载

360指数查询工具v1.0.0.0

  • 2014年05月29日 00:53
  • 1.58MB
  • 下载

搜狗指数查询工具v1.0

  • 2014年05月12日 14:42
  • 1.57MB
  • 下载

Android免费的导出微信朋友圈文字和图片的工具

免费的导出微信朋友圈文字和图片的工具 很多人问:如何导出微信朋友圈。于是,有各种解答,各种收费的软件。但是都不太好。即使是收费的,也经常用不起,还花了钱。找到开源的东东,作一些适合的修改,就出现一个免...
  • metababy
  • metababy
  • 2016-08-07 20:03:18
  • 7146

zoomeye批量页面抓取工具

工作需要有时需要批量抓取zoomeye的搜索结果,知道创宇的zoomeye在V3以前在页面上做了防爬虫处理,等了不知道多久终于zoomeye V4上线了,根据全新的API写了一个爬虫,用户批量抓取搜索...
  • yiyefangzhou24
  • yiyefangzhou24
  • 2016-04-19 14:55:04
  • 2735

aizhan爱站关键字SEO采集(最新可用)

  • 2014年02月17日 17:38
  • 526KB
  • 下载
    个人资料
    持之以恒
    等级:
    访问量: 2万+
    积分: 340
    排名: 23万+
    文章分类
    最新评论