苏飞论坛

标题: GET没办法抓TM宝贝 [打印本页]

作者: a896351151 时间: 2015-5-21 11:55
标题: GET没办法抓TM宝贝
新手不懂就用GET来抓页面，但是没办法呢抓取天猫的宝贝页面，提示302 浏览器可以使用
string qt = "http://detail.tmall.com/item.htm?spm=a230r.1.14.18.6ockEh&id=45197802445";

         //创建Httphelper对象
         HttpHelper http = new HttpHelper();
         //创建Httphelper参数对象
         HttpItem item = new HttpItem()
         {

            URL = qt,//URL    必需项
            Method = "get",//URL    可选项默认为Get
            ContentType = "text/html",//返回类型可选项有默认值
            //ContentType = "application/x-www-form-urlencoded",//返回类型可选项有默认值
         };
         //请求的返回值对象
         HttpResult result = http.GetHtml(item);
         //获取请请求的Html
         string html = result.Html;

错误信息：<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html>
<head><title>302 Found</title></head>
<body bgcolor="white">
<h1>302 Found</h1>
<p>The requested resource resides temporarily under a different URI.</p>
<hr/>Powered by Tengine</body>
</html>

作者: a896351151 时间: 2015-5-21 15:10
解决了

作者: 我是MT 时间: 2015-7-1 20:03
本帖最后由我是MT 于 2015-7-1 20:05 编辑

a896351151 发表于 2015-5-21 15:10
解决了

你用万能框架抓TM？难道不被封IP吗？用webkit内核的cefsharp安全可靠，稳定。哈哈。

作者: 猫星人 时间: 2015-10-6 21:40
马克一个先。。。学习

作者: speed2018 时间: 2015-11-8 12:48

我是MT 发表于 2015-7-1 20:03
你用万能框架抓TM？难道不被封IP吗？用webkit内核的cefsharp安全可靠，稳定。哈哈。

用这个跟限制IP有关系吗

作者: 我是MT 时间: 2015-11-12 16:44

speed2018 发表于 2015-11-8 12:48
用这个跟限制IP有关系吗

POST的速度非常快，而且模拟POST过程会有一些cookie遗漏，还有淘宝对用户行为分析，用post无法模拟的。所以一旦发现就会封IP。有时候是10多分钟，有时候是一个多小时。封IP之后要求你登陆才能访问。用真实的浏览器就不会出现这种情况。

欢迎光临苏飞论坛 (http://www.sufeinet.com/)