有谁能够抓取京东下拉框关键词的？请给个提示思路！传统的抓包之后拼链接不行

越狱

使用传统的HttpWebRequest抓取不到，使用浏览器的调试工具调试的时候，如下图：




打开抓取到的链接：http://dd.search.jd.com/?ver=2&a ... lback=jQuery8321970


会直接跳转到：
http://www.360buy.com/error2.aspx


求有经验的大神给个思路看看是怎么回事！谢谢了

站长苏飞

越狱 发表于 2015-7-1 21:57
这下确实可以了。

但是站长你好，我想知道，为什么我用火狐浏览器调试的时候，发现refer是：http://ww ...

带什么都 行，只要是这个网站的，这是来源页面，表示发起请求的当前页面。有些网站会验证一下来源，表示是不是本站页面发出的，但是一般不会，注意一下应该就行了。

站长苏飞

用我的万能框架很轻松就能提取到啊。
http://httphelper.sufeinet.com/

越狱

站长苏飞 发表于 2015-7-1 09:08
用我的万能框架很轻松就能提取到啊。
http://httphelper.sufeinet.com/

大神，能不能把你的代码贴出来，我写的怎么老是获取不到？

站长苏飞

越狱 发表于 2015-7-1 10:15
大神，能不能把你的代码贴出来，我写的怎么老是获取不到？

我用的是我的万能框架，你不是框架会员，贴给你也没有用。

zyf7758521ai

key=关键词 就是的呀~

越狱

zyf7758521ai 发表于 2015-7-1 11:46
key=关键词 就是的呀~

为什么我打开抓包的链接会跳转到别的网页？是什么原因造成的？

越狱

站长苏飞 发表于 2015-7-1 10:55
我用的是我的万能框架，你不是框架会员，贴给你也没有用。

为什么我打开抓包的链接会跳转到别的网页？是什么原因造成的？

站长苏飞

越狱 发表于 2015-7-1 13:42
为什么我打开抓包的链接会跳转到别的网页？是什么原因造成的？

请求带的参数不够，页面自然会跳转，这个没有什么吧。

越狱

站长苏飞 发表于 2015-7-1 14:01
请求带的参数不够，页面自然会跳转，这个没有什么吧。

谢谢你的回复，我明白了。