苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.4-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 509|回复: 3

[HttpHelper] 帮忙看一个网址的采集,谢谢

[复制链接]
发表于 2022-5-4 11:21:15 | 显示全部楼层 |阅读模式
[C#] 纯文本查看 复制代码
WebHeaderCollection header = new WebHeaderCollection();
            header.Add("Accept-Encoding", "gzip, deflate, br");
            header.Add("Accept-Language", "zh-CN,zh;q=0.9");

            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = "https://www.bet-mart.com",
                Method = "GET",
                Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
                UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36",
                ContentType = "text/html",
                CookieContainer = new CookieContainer(),
                Header = header,
                SecurityProtocol = SecurityProtocolType.Tls12,
                ClentCertificates = new X509CertificateCollection(),
                KeepAlive = true,
                Encoding = Encoding.GetEncoding("utf-8"),
                IsUpdateCookie = true,
                ResultType = CsharpHttpHelper.Enum.ResultType.String,
                CerPath = "d:\\123.cer"
            };

            HttpResult result = http.GetHtml(item);
            string html = result.Html;
            MessageBox.Show(html);


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
 楼主| 发表于 2022-5-4 11:21:44 | 显示全部楼层
返回1020错误。
 楼主| 发表于 2022-5-4 11:54:24 | 显示全部楼层
使用的是Cloudflare反爬技术
发表于 2022-5-4 16:12:39 | 显示全部楼层
这个确实需要研究一下,
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2022-5-24 19:22

© 2014-2021

快速回复 返回顶部 返回列表