爬虫把别人网站爬崩了怎么办

1、应该是你触发到网站的反爬虫机制了。解决方法是：伪造报文头部user-agent（网上有详细教程不用多说）使用可用代理ip，如果你的代理不可用也会访问不了是否需要帐户登录，使用cookielib模块登录帐户操作如果以上方法还是不行，那么你的ip已被拉入黑名单静止访问了。

2、最后再谈谈如何避免踩雷。第一点，同业竞争者的数据最好不要爬，官司很容易上身；第二点，被公司定性为有商业价值的数据不要爬，有个案例是百度爬了美团的有价数据，结果被告得很惨；第三点，爬虫机器人千万别扰乱对方的正常运营，万一搞崩了别人的网站，后果很严重。