上传
点击文件名下载附件
下面就是主要的百度搜索结果分析的功能，我之前自己再网上拔下来不少代码，然后自己拼凑到一起，已经开发完成了一个查词的功能，但是做完才发现这东西必须要用多线程来处理，要不然界面就直接卡死了。但是多线程网上可不像我之前看基础教程那样有视频，所以自学了快一周了也没有搞明白。 上传
点击文件名下载附件
下面是我主要的代码，里面请求HTTP网页信息的代码是我自己从网上拔下来，然后自己改吧改吧的。
[hide=d300] /// <summary>
/// 搜索处理
/// </summary>
/// <param name="url">搜索网址</param>
/// <param name="Chareset">编码</param>
public string search(string url, string Chareset)
{
string yinqing = (string)comboBoxYinqing.SelectedItem;
string resulthtml = "";
System.GC.Collect();
//设置系统默认的连接数
System.Net.ServicePointManager.DefaultConnectionLimit = 1000;
string[] arr = new string[]{"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)",
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E)"};
Random rd = new Random();//创建随机数的对象
rd.Next(arr.Length);// 是只取出来的数字 是在 0到数组arr长度之间的任意数字
string UserAgent = "";
if (yinqing == "百度手机搜索引擎移动网络")
{
UserAgent = "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3 like Mac OS X; de-de) AppleWebKit/533.17.9 (KHTML, like Gecko) Mobile/8F190";
}
else
{
UserAgent = arr[rd.Next(arr.Length)];// 把随机抽出来的索引所对应数组的值赋给textBox3文本
}
HttpState result = new HttpState();
long time = CommonHelper.ConvertDateTimeInt(DateTime.Now);
//Uri uri = new Uri(url + "&yfsj =" + time);
Uri uri = new Uri(url);
HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create(uri);
//System.Net.WebProxy proxy = new WebProxy("180.97.33.67", 80);
//System.Net.WebProxy proxy = new WebProxy("192.168.1.1", 80);
//myHttpWebRequest.Proxy = proxy;
//myHttpWebRequest.Headers.Add("Accept-Encoding", "gzip, deflate");
//myHttpWebRequest.Headers.Set("Content-Encoding", "gzip");
//myHttpWebRequest.Headers.Add("Accept-Language: zh-cn;q=0.5");
//myHttpWebRequest.Headers.Add("UA-CPU: x86");
myHttpWebRequest.ServicePoint.Expect100Continue = false;
myHttpWebRequest.ServicePoint.UseNagleAlgorithm = false;//是否使用 Nagle 不使用 提高效率
myHttpWebRequest.ServicePoint.ConnectionLimit = 65500;//最大连接数
myHttpWebRequest.AllowWriteStreamBuffering = false;//数据是否缓冲 false 提高效率
myHttpWebRequest.UseDefaultCredentials = true;
myHttpWebRequest.ContentType = "text/html";
myHttpWebRequest.UserAgent = UserAgent;
myHttpWebRequest.Method = "GET";
myHttpWebRequest.Accept = " text/html, */*; q=0.01";
//myHttpWebRequest.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
//myHttpWebRequest.ContentLength = 100000000;//数据出错了，太大了
//保持连接
myHttpWebRequest.KeepAlive = false;
myHttpWebRequest.ProtocolVersion = HttpVersion.Version10;
myHttpWebRequest.Host = "www.baidu.com";
myHttpWebRequest.Referer = myHttpWebRequest.Address.AbsoluteUri;
//myHttpWebRequest.CookieContainer = new CookieContainer();
myHttpWebRequest.CookieContainer = baiduwebrequest.CookieContainer;
//超时设置
myHttpWebRequest.Timeout = 1 * 30 * 1000;//设置超时3秒
HttpWebResponse response = null;
try
{
System.GC.Collect();
response = (HttpWebResponse)myHttpWebRequest.GetResponse();
// 从 ResponseStream 中读取HTML源码并格式化 add by cqp
result.Html = readResponseStream(response, Chareset);
result.CookieContainer = myHttpWebRequest.CookieContainer;
//查询完成后关闭连接
//myHttpWebRequest = null;
//response.Close();
//response = null;
resulthtml = result.Html;
return resulthtml;
}
catch (Exception ex)
{
//MessageBox.Show("网络连接出现问题，请检查网络" + ex.ToString());
//Application.DoEvents();
toolStripStatusLabelTishi.Text = "提示:网络连接出现问题，请检查网络，正在重试！或者你可以更换ip";
if (myHttpWebRequest != null)
{
myHttpWebRequest.Abort();
myHttpWebRequest = null;
}
//search(url, "utf-8");
return ex.ToString();
}
}
public string readResponseStream(HttpWebResponse response, string Chareset)
{
string result = "";
System.IO.Compression.DeflateStream responseStream = new System.IO.Compression.DeflateStream(response.GetResponseStream(), System.IO.Compression.CompressionMode.Decompress);
using (StreamReader responseReader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding(Chareset)))
{
result = formatHTML(responseReader.ReadToEnd());
responseReader.Close();
responseReader.Dispose();
response.Close();
}
return result;
}
/// <summary>
/// 描述:格式化网页源码
///
/// </summary>
/// <param name="htmlContent"></param>
/// <returns></returns>
public string formatHTML(string htmlContent)
{
string result = "";
result = htmlContent.Replace("»", "").Replace(" ", "")
.Replace("©", "").Replace("\r", "").Replace("\t", "")
.Replace("\n", "").Replace("&", "").Replace("\r\n", "")
.Replace("<em>", "").Replace("</em>", "")
.Replace("<EM>", "").Replace("</EM>", "");
result = Regex.Replace(result, "<script.*?</script>", "");
result = Regex.Replace(result, "<style.*?>.*?</style>", "");
result = Regex.Replace(result, "<a.*?>", "");
result = Regex.Replace(result, "<img.*?>", "");
return result;
}[/hide]
作者: 站长苏飞 时间: 2014-9-5 08:50
我只是路过打酱油的。
作者: yq5858588 时间: 2014-9-5 08:50
站长苏飞 发表于 2014-9-5 08:50
我只是路过打酱油的。
求助要站长，我用不了你的httphelper的类呀，也不知道多线程怎么弄
作者: 站长苏飞 时间: 2014-9-5 09:09
用不了说清楚，怎么用不了
作者: yq5858588 时间: 2014-9-5 10:05
站长苏飞 发表于 2014-9-5 09:09
用不了说清楚，怎么用不了
第一：就是不知道怎么调用，还有怎么返回我要查询的网页内容
第二：怎么用你的类来进行多线程查询的开发，一点思路都没有
所以希望帅哥哥提供个查询的例子
作者: 94w 时间: 2014-9-5 10:12
分析排名?还是其它
作者: yq5858588 时间: 2014-9-5 10:42
分析排名的
作者: ching126 时间: 2014-9-5 10:46
我只是路过打酱油的。
作者: 站长苏飞 时间: 2014-9-5 10:47
yq5858588 发表于 2014-9-5 10:05
第一：就是不知道怎么调用，还有怎么返回我要查询的网页内容
第二：怎么用你的类来进行多线程查询的开发 ...
http://www.sufeinet.com/forum.ph ... on=view&ctid=26
作者: inghot 时间: 2014-9-5 10:59
站长不是有一个多线程的例子么
作者: Cheungnotes 时间: 2014-9-5 11:41
我只是路过打酱油的。
作者: ching126 时间: 2014-9-9 22:40
膜拜中....！
作者: Mr_King 时间: 2014-9-10 16:00
kankan
作者: gxlm2001 时间: 2014-9-13 22:44
看过帖子回复一下是个好习惯
作者: ♂.Smile 时间: 2014-9-24 10:41
强烈支持楼主ing……
作者: scyyzgxh 时间: 2014-10-1 20:25
下面的软件界面似乎不错。。。
作者: Monn 时间: 2014-10-6 16:35
我只是路过打酱油的。
作者: caianhua1986 时间: 2014-10-6 17:37
什么情况啊，青年。多线程还不会搞？
作者: yq5858588 时间: 2014-10-8 08:21
caianhua1986 发表于 2014-10-6 17:37
什么情况啊，青年。多线程还不会搞？
是啊，不会哎，求指教呀，有视频教程吗
作者: xbtxkj 时间: 2014-10-8 23:22
膜拜中....！
作者: xbtxkj 时间: 2014-10-8 23:22
膜拜中....！
作者: liupan182 时间: 2014-10-12 20:14
TP网页信息的代码是我自
作者: flyjava 时间: 2014-10-12 22:53
强烈支持楼主ing……
作者: xiguazai 时间: 2014-10-13 09:47
dajiaoyiou
作者: xiguazai 时间: 2014-10-13 09:47
dajiangyou
作者: guyingjie 时间: 2014-10-13 16:16
我只是路过打酱油的。
作者: 从新来过 时间: 2014-11-12 20:25
我只是路过打酱油的。
作者: 从新来过 时间: 2014-11-12 20:26
我只是路过打酱油的。
作者: 我勒个擦 时间: 2014-11-13 21:57
楼主加油，我们都看好你哦。
作者: zym2008net 时间: 2014-11-21 00:41
bvcb
作者: tanzhiwei 时间: 2014-11-21 08:24
看过帖子回复一下是个好习惯
作者: yq5858588 时间: 2014-11-21 08:25
tanzhiwei 发表于 2014-11-21 08:24
看过帖子回复一下是个好习惯
谢谢支持
作者: wllaoshu 时间: 2014-11-22 11:54
留个脚印表示我来过！
作者: xwrj07791 时间: 2014-11-23 10:02
受教了学习中……
作者: 259876lr 时间: 2014-12-14 07:19
应当可以借鉴
作者: 259876lr 时间: 2014-12-14 07:20
标题: RE: 自己写的百度搜索结果分析程序，上来和大家分享下
应当可以借鉴 强烈支持楼主ing……
作者: snell09865 时间: 2014-12-19 18:17
最近也再看百度搜索
作者: 330567713 时间: 2014-12-26 13:09
..............kk
作者: hktk-2008 时间: 2014-12-26 14:21
我只是路过打酱油的。
作者: 小飞牛 时间: 2014-12-30 09:45
inghot 发表于 2014-9-5 10:59
站长不是有一个多线程的例子么
求链接啊。。。
作者: soonhot 时间: 2015-1-1 02:50
先看看。
作者: love'点点 时间: 2015-1-11 13:35
我只是路过打酱油的。
作者: ken58888 时间: 2015-1-12 22:04
强烈支持楼主ing……
作者: qwertyui 时间: 2015-1-13 10:22
也想做些网页抓取之类的开发，不知道有什么保存快照之类的源码参考吗？
作者: TianXman 时间: 2015-1-29 00:40
牛逼的很
作者: ysq231 时间: 2015-2-15 09:30
我只是路过打酱油的。
作者: ljx5790 时间: 2015-3-7 10:19
敢发隐藏贴，TJJTDS啦...
本贴由隐藏贴回复机快速回复作者: xyz136299110 时间: 2015-3-7 10:53
强烈支持楼主ing……来看看贴子
作者: allpure2 时间: 2015-3-7 16:19
作者: zhangzhen 时间: 2015-3-13 14:07
我只是路过打酱油的。
作者: drifter 时间: 2015-4-2 10:06
luguo...........
作者: xu3784 时间: 2015-5-10 19:25
也不知道多线程怎么弄
| 欢迎光临 苏飞论坛 (http://www.sufeinet.com/) | Powered by Discuz! X3.4 |