网络请求分析实战篇（01）—— 爬取amazon搜索栏的关联关键词

网络请求分析实战篇（01）—— 爬取amazon搜索栏的关联关键词

1. 需求介绍

• 在amazon搜索商品，当输入部分单词时，下面会自动弹出一些关联关键词。这些关键词是amazon内部总结，统计的热门搜索关键词。我们现在的需求就是，给出一些关键词，然后把对应的关联关键词抓出来。
  

2. 环境

• 系统：win7
• python 3.6.1
• requests 2.14.2 （通过pip list查看）

3. 分析请求

• 第一步：进入amazon主页，将网页源代码保存下来，以备后面分析参数来源。这儿需要注意到一个问题就是，这儿说的网页源代码指的是请求下来的原始页面，而不是浏览器渲染后的代码。区别如下：

  • 抓下来的网页源代码
    
  • 浏览器渲染后的代码
    

• 第二步：在输入“ car ”时，抓取到的网络请求如下：
  

# General
Request URL:https://completion.amazon.com/search/complete?method=completion&mkt=1&r=GFPC5GA3RHYHZK8YKY93&s=136-4489048-3064812&c=&p=Gateway&l=en_US&b2b=0&fresh=0&sv=desktop&client=amazon-search-ui&x=String&search-alias=aps&ks=82&q=car&qs=&cf=1&fb=1&sc=1&
Request Method:GET
Status Code:200<