反爬虫

爬虫带来的影响

1. 服务器负载
2. 数据泄露
3. 短信轰炸

区分:数据爬虫、搜索引擎

1. useragent
2. robot.txt
3. hostname 查询ip

反爬虫相应措施

1. useragent甄别
2. ip频次限制
3. 图片验证码
4. 登录验证
5. 用户频次限制
6. 请求加密