苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.3-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 1324|回复: 13

[HttpHelper] get请求不到网页的内容一直返回functionstringToHex

[复制链接]
发表于 2021-3-7 14:15:55 | 显示全部楼层 |阅读模式
1金钱
网站:http://mem1.zmdskh719.sinozghy.com:88。一直请求不到网页的内容返回内容,大牛们看看什么原因。
  • <!DOCTYPE html><html xmlns="http://www.w3.org/1999/xhtml"><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"/><meta http-equiv="Cache-Control" content="no-store, no-cache, must-revalidate, post-check=0, pre-check=0"/><meta http-equiv="Connection" content="Close"/><script type="text/javascript">function stringToHex(str){var val="";for(var i = 0; i < str.length; i++){if(val == "")val = str.charCodeAt(i).toString(16);else val += str.charCodeAt(i).toString(16);}return val;}function YunSuoAutoJump(){ var width =screen.width; var height=screen.height; var screendate = width + "," + height;var curlocation = window.location.href;if(-1 == curlocation.indexOf("security_verify_")){ document.cookie="srcurl=" + stringToHex(window.location.href) + ";path=/;";}self.location = "/?security_verify_data=" + stringToHex(screendate);}</script><script>setTimeout("YunSuoAutoJump()", 50);</script></head><body><div style="font-size: 14px; font-family:微软雅黑;">&#x6B63;&#x5728;&#x4E3A;&#x60A8;&#x8DF3;&#x8F6C;&#x5230;&#x8BBF;&#x95EE;&#x9875;&#x9762;......<br/><br/>&#x5982;&#x679C;&#x60A8;&#x7684;&#x6D4F;&#x89C8;&#x5668;&#x6CA1;&#x6709;&#x81EA;&#x52A8;&#x8DF3;&#x8F6C;&#xFF0C;&#x8BF7;&#x68C0;&#x67E5;&#x4EE5;&#x4E0B;&#x8BBE;&#x7F6E;&#x3002;<br/><br/>(1)&#x8BF7;&#x786E;&#x4FDD;&#x6D4F;&#x89C8;&#x5668;&#x6CA1;&#x6709;&#x7981;&#x6B62;&#x53D1;&#x9001;Cookie&#x3002;<br/><br/>(2)&#x8BF7;&#x786E;&#x4FDD;&#x6D4F;&#x89C8;&#x5668;&#x53EF;&#x4EE5;&#x6B63;&#x5E38;&#x6267;&#x884C;JavaScript&#x811A;&#x672C;&#x3002;<br/><br/>(3)&#x82E5;&#x4F7F;&#x7528;IE&#x6D4F;&#x89C8;&#x5668;&#xFF0C;&#x8BF7;&#x4F7F;&#x7528;IE9&#x53CA;&#x4EE5;&#x4E0A;&#x7248;&#x672C;&#x3002;<br/><br/>(4)&#x786E;&#x4FDD;&#x672C;&#x5730;&#x65F6;&#x95F4;&#x7684;&#x51C6;&#x786E;&#x6027;&#x3002;<br/><br/>(5)&#x8BF7;&#x89C2;&#x5BDF;&#x8FD9;&#x4E2A;&#x65F6;&#x95F4;&#xFF08;2021-03-07 14:06:16&#xFF09;&#x82E5;&#x65F6;&#x95F4;&#x4E00;&#x76F4;&#x672A;&#x53D8;&#x5316;&#xFF0C;&#x5219;&#x662F;&#x7531;&#x4E8E;&#x9A8C;&#x8BC1;&#x9875;&#x9762;&#x88AB;&#x7F13;&#x5B58;&#xFF0C;&#x53EF;&#x80FD;&#x662F;&#x4E0E;CDN&#x8BBE;&#x7F6E;&#x4E0D;&#x517C;&#x5BB9;&#x3002;<br/><br/></<div></body><!--2021-03-07 14:06:16--></html>  

最佳答案

查看完整内容

你这,分析也不会分析,代码全部放这里也不认真看,劝你不要继续做了,后面的会比前面的更复杂
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2021-3-7 14:15:56 | 显示全部楼层
flychen 发表于 2021-3-10 22:00
能在详细点吗?你这个js怎么执行呢?screen这个参数好像没定义。

你这,分析也不会分析,代码全部放这里也不认真看,劝你不要继续做了,后面的会比前面的更复杂
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

发表于 2021-3-8 14:33:22 | 显示全部楼层
能请求到,且你已经把请求到返回的内容写在上面了,不明白你说的:[一直请求不到网页的内容返回内容],什么意思,请详细描述你的问题和需求
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

 楼主| 发表于 2021-3-8 16:35:37 | 显示全部楼层
clrscr 发表于 2021-3-8 14:33
能请求到,且你已经把请求到返回的内容写在上面了,不明白你说的:[一直请求不到网页的内容返回内容],什么意思 ...

抓包返回来的内容和代码测试工具返回的内容不一样。抓包返回的是正常登录页面的内容。苏飞的在线工具提交返回的就是我发在上面的
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

发表于 2021-3-9 16:35:39 | 显示全部楼层
flychen 发表于 2021-3-8 16:35
抓包返回来的内容和代码测试工具返回的内容不一样。抓包返回的是正常登录页面的内容。苏飞的在线工具提交 ...

刚抓包测试了,问题出在你抓包分析上,如果要登录页信息的HTML,是需要第三个请求才能拿到登录页HMTL数据的,若代码只有一个请求,肯定是拿不到的登录页HTML的,故,你需要分析模拟三个请求即可,且如果只有一个请求返回的内容和抓包返回的应该是一样的,我抓包看到的第一个请求和你写的数据看起来差不多
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

发表于 2021-3-9 16:38:08 | 显示全部楼层
第一个请求的截图

第一个请求返回的信息截图,和你的结果看起来差不多,故代码请求的应该是正确的返回内容

第一个请求返回的信息截图,和你的结果看起来差不多,故代码请求的应该是正确的返回内容
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

发表于 2021-3-9 16:39:19 | 显示全部楼层
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

发表于 2021-3-9 16:42:15 | 显示全部楼层
网络请求只是网络请求,并不是模拟打开某个地址,实际运用中,浏览器打开某个地址可能有多个请求渲染出来的最终页面,并不代表模拟请求这一个地址就能得到最终数据.
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

 楼主| 发表于 2021-3-10 12:13:52 | 显示全部楼层
clrscr 发表于 2021-3-9 16:42
网络请求只是网络请求,并不是模拟打开某个地址,实际运用中,浏览器打开某个地址可能有多个请求渲染出来的最 ...

那怎么请求到正确的呢?第一个请求完?没看到哪里获取第二个请求的地址?
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

发表于 2021-3-10 14:55:03 | 显示全部楼层
本帖最后由 clrscr 于 2021-3-10 15:01 编辑
flychen 发表于 2021-3-10 12:13
那怎么请求到正确的呢?第一个请求完?没看到哪里获取第二个请求的地址?

你是第一次接触这个吗?第二个请求的构造方法就在第一个请求返回的内容里

function stringToHex(str) {
    var val = "";
    for (var i = 0; i < str.length; i++) {
        if (val == "") val = str.charCodeAt(i).toString(16);
        else val += str.charCodeAt(i).toString(16);
    }
    return val;
}
function YunSuoAutoJump() {
    var width = screen.width;
    var height = screen.height;
    var screendate = width + "," + height;
    var curlocation = window.location.href;
    if ( - 1 == curlocation.indexOf("security_verify_")) {
        document.cookie = "srcurl=" + stringToHex(window.location.href) + ";path=/;";
    }
    self.location = "/?security_verify_data=" + stringToHex(screendate);
}
setTimeout("YunSuoAutoJump()", 50);
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备17001017号-1)

GMT+8, 2021-4-21 15:36

© 2014-2021

快速回复 返回顶部 返回列表