ZBLOG

python爬淘宝商品数据,python爬淘宝评价

  

  爬淘宝遇到的问题   

  

  爬淘宝遇到的问题很多。以下是他们的名单:   

  

  1.登录问题   

  

  问题:报考st代码失败怎么办?   

  

  答:替换_verify_password方法中的所有请求参数。   

  

  如果参数正确,基本上登录就成功了!   

  

  2.代理池   

  

  为了防止自己的ip被封,猪哥用了代理池。爬淘宝需要优质ip。猪哥在网上尝试了很多免费ip,基本上都爬不上去。   

  

  但是有一个ip不错的网站,站大爷.   

  

  :http://ip.zdaye.com/dayProxy.html,这个网站每小时更新一批ip。猪哥尝试过,但还是有很多ip可以从淘宝抓取。   

  

  3.重试机制   

  

  为了防止正常请求失败,猪哥在抓取方法中加入了重试机制!   

  

  需要安装重试库。   

  

  pip安装重试   

  

  4.滑块出现。   

  

  以上都可以,但还是会有滑块。猪哥测试过很多次,有一些是爬了20 -40次左右最容易滑的。   

  

  当滑块出现的时候,你只能等一个半小时再继续爬,因为你目前还不能用requests库来解决滑块。后面学学selenium等框架,看看能不能解决!