苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper万能框架(V2.3-含.netcore) HttpHelper官方出品,无敌框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 最牛的爬虫类,没有爬不到只有想不到 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 201|回复: 6

C# 抓取百度搜索结果~

[复制链接]
发表于 2019-11-21 15:52:17 | 显示全部楼层 |阅读模式
提需求
联系方式: 662181
金额: 10 元
比如抓取这个页面的结果,现在百度增加了安全验证无法抓取,谁有办法抓取呢·https://www.baidu.com/s?wd=搜索关键词

发表于 2019-11-21 16:30:44 | 显示全部楼层
发表于 2019-11-21 17:45:09 | 显示全部楼层
[C#] 纯文本查看 复制代码
private string GetHttpBaiDuSearch()
{
	SufeiUtil.HttpHelper http = new SufeiUtil.HttpHelper();
	SufeiUtil.HttpItem item = new SufeiUtil.HttpItem()
	{
		URL = "https://www.baidu.com/s?wd=%E4%BB%BB%E6%84%8F%E5%85%B3%E9%94%AE%E5%AD%97",
		Method = "GET",
		Host = "www.baidu.com",
		UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36",
		Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
	};
	item.Header.Add("Sec-Fetch-User","?1");
	item.Header.Add("Sec-Fetch-Site","none");
	item.Header.Add("Sec-Fetch-Mode","navigate");
	item.Header.Add("Accept-Encoding","gzip, deflate, br");
	item.Header.Add("Accept-Language","zh-CN,zh;q=0.9");
	SufeiUtil.HttpResult result = http.GetHtml(item);
	string html = result.Html;
	return html;
}
发表于 2019-11-21 17:47:26 | 显示全部楼层
 楼主| 发表于 2019-11-21 18:25:41 | 显示全部楼层
 楼主| 发表于 2019-11-21 18:27:15 | 显示全部楼层
发表于 2019-11-22 09:31:43 | 显示全部楼层
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备17001017号-1)

GMT+8, 2019-12-10 14:32

© 2017-2018

快速回复 返回顶部 返回列表