使用万能框架爬虫pos几次或者次数多了就不行了请问这个怎么解决

86616395 · 发表于 2016-9-20 17:56:25

使用万能框架爬虫pos几次或者次数多了就不行了
"<!DOCTYPE HTML PUBLIC \"-//IETF//DTD HTML 2.0//EN\">\r\n<html>\r\n<head><title>301 Moved Permanently</title></head>\r\n<body bgcolor=\"white\">\r\n<h1>301 Moved Permanently</h1>\r\n<p>The requested resource has been assigned a new permanent URI.</p>\r\n<hr/>Powered by Tengine</body>\r\n</html>\r\n"

返回301 网页阿里巴巴的直接返回不了数据！请问这个有办法解决么？

客服~小小 · 发表于 2016-9-20 18:01:05

把301的地址打出来看看是什么，也许是IP限制频次了。

86616395 · 发表于 2016-9-20 20:02:54

客服~小小发表于 2016-9-20 18:01
把301的地址打出来看看是什么，也许是IP限制频次了。

链接是一样的就是会出现这个问题

站长苏飞 · 发表于 2016-9-21 08:15:24

你打出来看看，301的地址打印出来看看再说。一样是不会再跳转的吧

客服~小小 · 发表于 2016-9-21 08:16:33

http://www.sufeinet.com/thread-10024-1-1.html
获取301网址的方法，也可能楼主并不知道怎么获取的

		自动登录	找回密码
密码			马上注册

[咨询站长] 使用万能框架爬虫pos几次或者次数多了就不行了请问这个怎么解决