爬取网站常见错误

爬虫常见错误

1. url构造出错

2. referer中的一些参数有必要和url中的参数一样，需要动态变化

3. 返回响应数据中，需要的数据不存在（越界，为空，获取到链接但网络资源不存在从而抛出异常）

4. 解析数据，格式错误

5. 存储数据库时，id（主键）错误、重复

6. 在post请求，进入开发者工具，找到请求连接，最好找最后一次的请求链接，否则（使用最后一次之前的请求链接中的负载参数）可能所获得的响应中不包含全部的数据（即不完整）