苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.4-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

12
返回列表 发新帖
楼主: 2949497060

[HttpHelper] get一个网址用postman可以,用httphelper或者苏菲工具都不行,咋回事?

[复制链接]
发表于 2022-10-18 16:56:00 | 显示全部楼层
2949497060 发表于 2022-10-17 19:34
用rebex的库试了下在本机上确实也可以,不过老是要换licence用起来不爽,期待飞哥升级啊,红包赞助:lovel ...

支持不支持是看电脑环境的,这个不是代码控制的,你说升级这个难住我了,你上面的说的别人的程序都能可以,这确实是证明了你的电脑环境没有问题,但这个也没有证明Httphelper不支持。必经我这边是支持的,我们可能都走偏了,你这个具体为啥不行,也许和支持不支持
tls1.3没有关系 ,这个可以先别人发的包抓下来,和httphelper发的包抓下来做个对比,现在郑州疫情,被风控了,没电脑,短时间没法给你验证


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
 楼主| 发表于 2022-10-18 18:39:35 | 显示全部楼层
站长苏飞 发表于 2022-10-18 16:56
支持不支持是看电脑环境的,这个不是代码控制的,你说升级这个难住我了,你上面的说的别人的程序都能可以 ...

飞哥果然居家好老公+好丈夫啊,电脑都不往家里带
 楼主| 发表于 2022-10-18 18:44:49 | 显示全部楼层
站长苏飞 发表于 2022-10-18 16:56
支持不支持是看电脑环境的,这个不是代码控制的,你说升级这个难住我了,你上面的说的别人的程序都能可以 ...

file:///D:/choicefd.png
 楼主| 发表于 2022-10-18 18:47:12 | 显示全部楼层
用fiddler抓包头如下:
CONNECT www.choicehotels.com:443 HTTP/1.1
Host: www.choicehotels.com:443
Connection: keep-alive
User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36

A SSLv3-compatible ClientHello handshake was found. Fiddler extracted the parameters below.

Version: 3.3 (TLS/1.2)
Random: E3 EA E2 3A DA C3 46 D5 14 19 96 67 C3 0B 78 55 E0 CC D0 FC DC B9 8A 00 63 06 7D 02 DD 81 E9 B2
"Time": 2001-04-22 22:29:55
SessionID: B1 F8 3C 8B 4A F7 62 CB C5 F1 44 AF 6C F8 CC F9 2A A8 72 9F 75 6B A8 3D D7 81 47 E7 1B BD 23 13
Extensions:
        grease (0x9a9a)        empty
        server_name        www.choicehotels.com
        extended_master_secret        empty
        renegotiation_info        00
        supported_groups        grease [0xeaea], x25519 [0x1d], secp256r1 [0x17], secp384r1 [0x18]
        ec_point_formats        uncompressed [0x0]
        SessionTicket        empty
        ALPN                h2, http/1.1
        status_request        OCSP - Implicit Responder
        signature_algs        ecdsa_secp256r1_sha256, rsa_pss_rsae_sha256, rsa_pkcs1_sha256, ecdsa_secp384r1_sha384, rsa_pss_rsae_sha384, rsa_pkcs1_sha384, rsa_pss_rsae_sha512, rsa_pkcs1_sha512
        SignedCertTimestamp (RFC6962)        empty
        key_share        00 29 EA EA 00 01 00 00 1D 00 20 21 4E BD 4B E9 63 4C 60 DE 2B 60 A2 6D 23 AF 28 06 1B 1B DB CB 64 30 36 89 3E 16 63 15 30 59 65
        psk_key_exchange_modes        01 01
        supported_versions        grease [0xaaaa], Tls1.3
        0x001b                02 00 02
        0x4469                00 03 02 68 32
        grease (0x1a1a)        00
        padding                195 null bytes
Ciphers:
        [BABA]        Unrecognized cipher - See https://www.iana.org/assignments/tls-parameters/
        [1301]        TLS_AES_128_GCM_SHA256
        [1302]        TLS_AES_256_GCM_SHA384
        [1303]        TLS_CHACHA20_POLY1305_SHA256
        [C02B]        TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256
        [C02F]        TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256
        [C02C]        TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384
        [C030]        TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384
        [CCA9]        TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305_SHA256
        [CCA8]        TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305_SHA256
        [C013]        TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA
        [C014]        TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA
        [009C]        TLS_RSA_WITH_AES_128_GCM_SHA256
        [009D]        TLS_RSA_WITH_AES_256_GCM_SHA384
        [002F]        TLS_RSA_WITH_AES_128_CBC_SHA
        [0035]        TLS_RSA_WITH_AES_256_CBC_SHA

Compression:
        [00]        NO_COMPRESSION
 楼主| 发表于 2022-10-18 18:47:45 | 显示全部楼层
用fiddler抓包响应结果不是真正的响应结果,显示如下:HTTP/1.1 200 Connection Established
FiddlerGateway: Direct
StartTime: 18:41:01.282
Connection: close
EndTime: 18:41:13.706
ClientToServerBytes: 43751
ServerToClientBytes: 3531990

This is a CONNECT tunnel, through which encrypted HTTPS traffic flows.
Fiddler's HTTPS Decryption feature is enabled, but this specific tunnel was configured not to be decrypted. Settings can be found inside Tools > Options > HTTPS.

A SSLv3-compatible ServerHello handshake was found. Fiddler extracted the parameters below.

Version: 3.3 (TLS/1.2)
SessionID:        B1 F8 3C 8B 4A F7 62 CB C5 F1 44 AF 6C F8 CC F9 2A A8 72 9F 75 6B A8 3D D7 81 47 E7 1B BD 23 13
Random:                E5 44 0F D9 83 5C D8 E0 2E 2D D6 9D F9 B0 46 3E 2A 5F FF AB C2 12 33 C4 2F 27 3F 1D 68 B4 F9 B5
Cipher:                TLS_AES_256_GCM_SHA384 [0x1302]
CompressionSuite:        NO_COMPRESSION [0x00]
Extensions:
                supported_versions       
                key_share        00 1D 00 20 37 DF D5 D1 7C BD BA EB 2E DF 2A B6 E3 70 BC C2 F5 46 BC E0 2E 2D 03 1A 72 EA 15 E8 30 43 29 7B
 楼主| 发表于 2022-10-18 18:59:42 | 显示全部楼层
站长苏飞 发表于 2022-10-18 16:56
支持不支持是看电脑环境的,这个不是代码控制的,你说升级这个难住我了,你上面的说的别人的程序都能可以 ...

fiddler的请求数据里不是get或options之类的,而是connect(不知道这算不算http协议请求方法),另外里面有个“Version:3.3 (TLS/1.2)”不知道是否算tls1.2,但是在谷歌浏览器里面的security包显示的是Protocol:TLS1.3,Key exchange:X25519,Server signature:RSA-PSS with SHA-256,Cipher:AES_256_GCM
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2022-12-4 17:40

© 2014-2021

快速回复 返回顶部 返回列表