苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.4-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 1494|回复: 11

[求助] 麻烦站长看一下,用框架无法获取html代码

[复制链接]
发表于 2022-8-22 14:01:41 | 显示全部楼层 |阅读模式
网址:https://h5.eheren.com/dongzong/
浏览器可以正常访问

但奇怪的地方在于,chrome抓包,发现页面正常显示,但返回的html却只提示让开启JavaScript,非常奇怪,看下图。

微信截图_20220822135800.png

明明页面是正常显示的,html却不正常。

我用fiddler也抓了,分析header,没用,都是获取不到正常的html

麻烦站长帮忙看看吧,谢谢了!


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2022-8-22 14:09:24 | 显示全部楼层
这个是不是浏览器限制了,这页面应该是只能在微信浏览器下打开的吧
 楼主| 发表于 2022-8-22 14:13:52 | 显示全部楼层
站长苏飞 发表于 2022-8-22 14:09
这个是不是浏览器限制了,这页面应该是只能在微信浏览器下打开的吧

不是,这个页面是可以在chorme里访问的,你看我截图,就是在chrome里访问的。
另外,我也尝试useragent更换了微信代码,也没用
奇怪的点就在于,chorme可以看到页面内容,但html却不对
发表于 2022-8-22 16:06:23 | 显示全部楼层
通讯方式不一样,抓包看,他一直有发送包,的接收包应该是。
发表于 2022-8-22 16:06:37 | 显示全部楼层
可以做个端口监听抓一下实际的包
 楼主| 发表于 2022-8-22 16:10:56 | 显示全部楼层
站长苏飞 发表于 2022-8-22 16:06
可以做个端口监听抓一下实际的包

老大指点一下吧,如果做个监听端口抓啊,从来没这么做过
发表于 2022-8-22 17:22:52 | 显示全部楼层
抓包工具,比如fiddler  设置一下只抓某一个端口的包,这样比较清晰的能看到这个网站都发送了那些数据
 楼主| 发表于 2022-8-22 17:35:11 | 显示全部楼层
站长苏飞 发表于 2022-8-22 17:22
抓包工具,比如fiddler  设置一下只抓某一个端口的包,这样比较清晰的能看到这个网站都发送了那些数据

奇怪就奇怪在这里
我用fiddler抓了
没有什么别的数据
能加上的都加上了,就是获取不到真实html啊
 楼主| 发表于 2022-8-23 13:30:41 | 显示全部楼层
站长苏飞 发表于 2022-8-22 17:22
抓包工具,比如fiddler  设置一下只抓某一个端口的包,这样比较清晰的能看到这个网站都发送了那些数据

而且,fiddler抓的,显示显示先开启JavaScript,fiddler也抓不到正常的html啊 @站长苏飞
发表于 2022-8-27 18:22:02 | 显示全部楼层
fiddler抓不到,我是意思是直找写个监控端口的,因为软件可能会对包进行处理,
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2022-10-5 11:18

© 2014-2021

快速回复 返回顶部 返回列表