苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 48431|回复: 16
打印 上一主题 下一主题

[综合] 当HttpHelper类遇到请求头含有 x-requested-with: XMLHttpRequest 的解决方法。。

[复制链接]
跳转到指定楼层
楼主
发表于 2013-5-7 14:11:45 | 只看该作者 |只看大图 回帖奖励 |正序浏览 |阅读模式
在使用 HttpHelper类时遇到一个问题,就是当抓包时某些请求头里含有,x-requested-with: XMLHttpRequest

这个时候,按正常的请求参数,WebRequest请求始终得不到响应或者得到504.。


这时候只需要在 发送请求的时候添加以下代码即可:



[code=csharp]ProtocolVersion = new Version("1.0"); [/code]      





本帖被以下淘专辑推荐:



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
17
发表于 2017-9-6 07:59:20 | 只看该作者
changchengt 发表于 2017-9-5 17:38
站长,我也遇到这个问题了,最后有解决吗?怎么使用呢?

这个帖子是协议版本问题。你直接修改一个版本就行了
16
发表于 2017-9-5 17:38:11 | 只看该作者
站长苏飞 发表于 2013-5-8 07:56
这种情况是因为请求时限定了Http的版本,造成的,其实他们两个没有多大关系,
只不过你的这个是个巧合。 ...

站长,我也遇到这个问题了,最后有解决吗?怎么使用呢?
15
发表于 2014-5-23 18:17:37 | 只看该作者
非常感谢你帮了我的大忙,真的太感谢你啦!
14
发表于 2013-5-14 09:55:15 | 只看该作者
现在没时间看,先留个记号,回头细细品味!
13
发表于 2013-5-8 08:24:46 | 只看该作者
本帖最后由 changlei 于 2013-5-8 08:26 编辑

你抓到的包里面显示版本是1.0的。

QQ截图20130508082534.png (88.9 KB, 下载次数: 525)

HTTP1.0

HTTP1.0
12
发表于 2013-5-8 07:56:35 | 只看该作者
cyberarmy 发表于 2013-5-8 06:25
百度贴吧回帖的时候,请求头里就有。

这种情况是因为请求时限定了Http的版本,造成的,其实他们两个没有多大关系,
只不过你的这个是个巧合。

呵呵。不过我的类里面确实没有设置Http请求时所用版本这一个属性,我下次升级会添加上,感谢你的建议和解决方案,我会将你的这个帖子写到升级报告里,另外到时候还将送你一个贡献勋章一个,再次感谢你对我这个类的支持。
在使用中如果有问题可以到专区反馈http://www.sufeinet.com/forum-135-1.html
11
 楼主| 发表于 2013-5-8 06:25:59 | 只看该作者
本帖最后由 cyberarmy 于 2013-5-8 06:29 编辑
yangying 发表于 2013-5-8 06:15
嗯好的谢谢,我记录下,我们下次升级,也加下这个属性,可以发下你访问的那个网站吗

百度贴吧回帖的时候,请求头里就有。







10
发表于 2013-5-8 06:15:16 | 只看该作者
cyberarmy 发表于 2013-5-7 23:48
对,两个地方都需要设置。

嗯好的谢谢,我记录下,我们下次升级,也加下这个属性,可以发下你访问的那个网站吗
9
发表于 2013-5-8 06:15:14 | 只看该作者
cyberarmy 发表于 2013-5-7 23:48
对,两个地方都需要设置。

嗯好的谢谢,我记录下,我们下次升级,也加下这个属性,可以发下你访问的那个网站吗
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2025-6-16 04:09

© 2014-2021

快速回复 返回顶部 返回列表