反爬虫

爬虫带来的影响

  1. 服务器负载
  2. 数据泄露
  3. 短信轰炸

区分:数据爬虫、搜索引擎

  1. useragent
  2. robot.txt
  3. hostname 查询ip

反爬虫相应措施

  1. useragent甄别
  2. ip频次限制
  3. 图片验证码
  4. 登录验证
  5. 用户频次限制
  6. 请求加密
Copyright © bqxu.me. 2016 • All rights reserved.