HttpWebResponse获取网页HTML - 苏飞论坛

上传

点击文件名下载附件
你单击高级就有了，让编辑器放大

作者: kidsoft 时间: 2013-4-15 16:17
[code=csharp]private void button1_Click(object sender, EventArgs e)
      {
         var txt = GetHtml();
         richTextBox1.AppendText(txt);
      }

HttpHelper.cs复制使用的，未做任何改动！

      private string GetHtml()
      {
         HttpHelper http = new HttpHelper();
         HttpItem item = new HttpItem()
         {
            URL = "http://www.soso.com/q?pid=s.idx&cid=s.idx.se&w=%C9%CF%BA%A3%BA%E7%C7%C5%D2%BD%D4%BA",//URL    必需项
            Method = "GET",//URL    可选项默认为Get
            Timeout = 100000,//连接超时时间    可选项默认为100000
            ReadWriteTimeout = 30000,//写入Post数据超时时间    可选项默认为30000
            IsToLower = false,//得到的HTML代码是否转成小写    可选项默认转小写
            Cookie = "",//字符串Cookie    可选项
            UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0",//用户的浏览器类型，版本，操作系统    可选项有默认值
            Accept = "text/html, application/xhtml+xml, */*",// 可选项有默认值
            ContentType = "text/html",//返回类型可选项有默认值
            Referer = "http://www.sufeinet.com",//来源URL    可选项
            //Allowautoredirect = true,//是否根据３０１跳转    可选项
            //CerPath = "d:\123.cer",//证书绝对路径    可选项不需要证书时可以不写这个参数
            //Connectionlimit = 1024,//最大连接数    可选项默认为1024
            //Postdata = "username=sufei&pwd=sufeinet.com",//Post数据    可选项GET时不需要写
            //ProxyIp = "192.168.1.105",//代理服务器ID    可选项不需要代理时可以不设置这三个参数
            //ProxyPwd = "123456",//代理服务器密码    可选项
            //ProxyUserName = "administrator",//代理服务器账户名    可选项
            //ResultType = ResultType.String,//返回数据类型，是Byte还是String
         };
         HttpResult result = http.GetHtml(item);
         string html = result.Html;
         string cookie = result.Cookie;
         byte[] b = result.ResultByte;
         return html;
      }[/code]

作者: kidsoft 时间: 2013-4-15 16:18
VS2012代码，见附件！

作者: 站长苏飞 时间: 2013-4-15 16:31

kidsoft 发表于 2013-4-15 16:18
VS2012代码，见附件！

取到的内容是什么你发上来我看一下，看看和我获取的是否一样

作者: kidsoft 时间: 2013-4-15 16:37

站长苏飞发表于 2013-4-15 16:31
取到的内容是什么你发上来我看一下，看看和我获取的是否一样

(, 下载次数: 114)

上传

点击文件名下载附件

作者: 站长苏飞 时间: 2013-4-15 18:05

kidsoft 发表于 2013-4-15 16:37

下班了，确实有这个问题，明天来了帮你看看

作者: 站长苏飞 时间: 2013-4-16 08:56
[code=csharp]  HttpHelper http = new HttpHelper();
         HttpItem item = new HttpItem()
         {
            URL = "http://www.soso.com/q?sc=web&bs=%C3%C0%B9%FA%B4%F3%C6%AC&ch=w.uf&num=10&w=%C3%C0%B9%FA%B4%F3%C6%AC",//URL这里都是测试    必需项
            Encoding = null,//编码格式（utf-8,gb2312,gbk）    可选项默认类会自动识别
            //Encoding = Encoding.Default,
            Method = "get",//URL    可选项默认为Get
         };
         //得到HTML代码
         HttpResult result = http.GetHtml(item);[/code]
这样可以取到，使用最新版的类，

作者: kidsoft 时间: 2013-4-16 09:05
上面那个链接没有|符号[百度百科]，所以测试结果正确。刚在网站下载了最新的HttpHelper，结果仍然一样。还是无法读取全部，当有|的情况下。

作者: 站长苏飞 时间: 2013-4-16 09:06

kidsoft 发表于 2013-4-16 09:05
上面那个链接没有|符号[百度百科]，所以测试结果正确。刚在网站下载了最新的HttpHelper，结果仍然一样。还是 ...

那你说一个不行的，我看看

作者: kidsoft 时间: 2013-4-16 09:08
http://www.soso.com/q?pid=s.idx& ... 0%B9%FA%B5%E7%D3%B0
在winform里肯定获取不到全部。因为出现了|

作者: 站长苏飞 时间: 2013-4-16 09:23

kidsoft 发表于 2013-4-16 09:08
http://www.soso.com/q?pid=s.idx&cid=s.idx.se&w=%C3%C0%B9%FA%B5%E7%D3%B0
在winform里肯定获取不到全部 ...

我靠还真是，我有时间再研究下，这个问题还真没碰到过，为什么出现|之后就没数据了呢？你要试试，我这边有结果了给你贴代码。呵呵，现在我也不清楚怎么解决啊

作者: kidsoft 时间: 2013-4-16 09:25
我现在最奇怪的一件事情是：在你的网页上测试，居然结果是正确的，能获取到全部的内容。所以我就特别的奇怪。

作者: 站长苏飞 时间: 2013-4-16 09:46

kidsoft 发表于 2013-4-16 09:25
我现在最奇怪的一件事情是：在你的网页上测试，居然结果是正确的，能获取到全部的内容。所以我就特别的奇怪 ...

其实这是个入点，应该是执行了一些Js之类的东西才能取到，或者是其它原因，暂时不明。

作者: kidsoft 时间: 2013-4-16 09:46
我新建了一个MVC4，同样的代码获取，显示。所有内容都能完整的获取回来。
1：winform调用，遇到|确实存在问题。
2：web调用没有任何问题，起码我没遇到问题。从你的测试页面，和我自己新建的web站点都能证明这个。

作者: kidsoft 时间: 2013-4-16 14:43
加断点，在快速监视里，可以看到，HttpResult的Html的内容是完整的。但是，如果以文本可视化工具查看是不完整的，因此，后面取结果的时候，HttpResult.Html为部分内容。

作者: 站长苏飞 时间: 2013-4-16 14:57

kidsoft 发表于 2013-4-16 14:43
加断点，在快速监视里，可以看到，HttpResult的Html的内容是完整的。但是，如果以文本可视化工具查看是不完 ...

HttpResult的Html的内容是完整的。但是，如果以文本可视化工具查看是不完整的
你看到有地方是完整的吗？在那个地方看的，

作者: kidsoft 时间: 2013-4-16 14:59
断点，快速监视，然后查看html属性的值，我copy出来，确实是完整的

作者: 站长苏飞 时间: 2013-4-16 15:11

kidsoft 发表于 2013-4-16 14:59
断点，快速监视，然后查看html属性的值，我copy出来，确实是完整的

哦，是直接在result.html完整吗？

作者: 站长苏飞 时间: 2013-4-16 15:14
这样的话应该就是显示控件的问题了，而不应该是访问的问题，想办法解决一下这个控件显示的问题我相信就行了

作者: kidsoft 时间: 2013-4-16 15:16
不是，跟控件没关系。输出HttpResult.Html的内容时，就已经不完整了

作者: 站长苏飞 时间: 2013-4-16 15:21

kidsoft 发表于 2013-4-16 15:16
不是，跟控件没关系。输出HttpResult.Html的内容时，就已经不完整了

那你刚开始说的在那一步看的是完全的，你发下代码我看你是在那一行看的有

作者: kidsoft 时间: 2013-4-16 15:21
result.html不完整
HttpResult的Html属性，我通过快速监视，查看html的值，且是拷贝至记事本查看，是完整的

作者: 站长苏飞 时间: 2013-4-16 15:26
我了个去，原来你说的是这个问题啊，那你这样操作一下就行了，这是转换的问题，
string html = result.Html;直接看html的就是完全的，然后把他给一个控件应该就行了

我下次升级时会直接在这里加上 //得到返回的HTML
result.Html = encoding.GetString(RawResponse).ToString();加个Tostring就为行了，你看看

作者: kidsoft 时间: 2013-4-16 15:27
(, 下载次数: 108)

上传

点击文件名下载附件

作者: kidsoft 时间: 2013-4-16 15:29
在下面监视的部分，里面是完整的。但是如果输出result.html，就是不完整的.
encoding.GetString(RawResponse).ToString();从逻辑上说，这句话和encoding.GetString(RawResponse)不可能有区别吧？

作者: 站长苏飞 时间: 2013-4-16 15:31

kidsoft 发表于 2013-4-16 15:29
在下面监视的部分，里面是完整的。但是如果输出result.html，就是不完整的.
encoding.GetString(RawRespon ...

有区别，呵呵，你先试试Tostring之后行不行，或者直接取到STring Html里

作者: kidsoft 时间: 2013-4-16 15:32
不行。已经试过了

作者: 站长苏飞 时间: 2013-4-16 15:39
[code=csharp] public virtual string GetString(byte[] bytes)
      {
         if (bytes == null)
         {
            throw new ArgumentNullException("bytes", Environment.GetResourceString("ArgumentNull_Array"));
         }
         return this.GetString(bytes, 0, bytes.Length);
      }

      public virtual string GetString(byte[] bytes, int index, int count)
      {
         return new string(this.GetChars(bytes, index, count));
      }[/code]

你看看方法源码就知道了
这里并没有“Tostring方法。还是有一定区别的

作者: 站长苏飞 时间: 2013-4-16 15:39

kidsoft 发表于 2013-4-16 15:32
不行。已经试过了

但是我这边测试的是正常的啊，

作者: kidsoft 时间: 2013-4-16 15:41
好，我再测试一下

作者: 站长苏飞 时间: 2013-4-16 15:45
取到string html=result.Html;
html中的是完整的，只是添加的控件里面后不正常了，这说明是控件显示问题呀。你可以看看

作者: kidsoft 时间: 2013-4-16 15:46
结果一样，还是不完整

作者: 站长苏飞 时间: 2013-4-16 15:49

kidsoft 发表于 2013-4-16 15:46
结果一样，还是不完整

你联系我QQ

作者: kidsoft 时间: 2013-4-17 08:30
没想到很好的办法，只能用最土鳖的办法进行硬编码处理。
对于HttpResult.Html的字符串，进行Replace处理。即为：
... ... 前面代码省略... ...
//得到返回的HTML
result.Html = _encoding.GetString(rawResponse).Replace("\0", "|");

作者: 站长苏飞 时间: 2013-4-17 08:45

kidsoft 发表于 2013-4-17 08:30
没想到很好的办法，只能用最土鳖的办法进行硬编码处理。
对于HttpResult.Html的字符串，进行Replace处理。 ...

你这样测试可以吗？如果可以的话就先用着，我想想怎么解决这个问题，如果找到解决方案了就直接加到类里面了，到时候你关注下最新一版的类。这个问题需要使用其他方法进行转码才行

作者: kidsoft 时间: 2013-4-17 08:53
可以是可以处理，只能作为临时方案。这个完全是硬编码，我先用着，待会也来研究一下

作者: 站长苏飞 时间: 2013-4-17 09:07

kidsoft 发表于 2013-4-17 08:53
可以是可以处理，只能作为临时方案。这个完全是硬编码，我先用着，待会也来研究一下

先用着吧。研究出来再说。呵呵

欢迎光临苏飞论坛 (http://www.sufeinet.com/)