http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 6830|回复: 5

[综合] 现在chatgpt是真的利害,Httphelper我想了好久的算法一秒搞定

[复制链接]
发表于 2023-6-7 14:31:59 | 显示全部楼层 |阅读模式
下面是我和chatgpt的对话大家可以看看,
真是越来越牛了

[C#] 纯文本查看 复制代码
# 自动识别HTML编码

## 来自你的消息:
C#语言中使用HttpWebResponse请求返回的html数据怎么自动识别编码

## 来自 ChatGPT 的消息:
在C#中使用HttpWebResponse请求返回的HTML数据时,可以通过以下步骤自动识别编码:

1. 获取HttpWebResponse对象的ContentType属性,该属性包含了返回的数据类型和编码信息;
2. 从ContentType属性中分离出编码信息;
3. 将编码信息转换成对应的编码格式;
4. 使用得到的编码格式读取返回的数据。

以下是实现自动识别编码的代码示例:

```csharp
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();

string charset = null;
string contentType = response.ContentType;
if (!string.IsNullOrEmpty(contentType))
{
    int index = contentType.IndexOf("charset=");
    if (index != -1)
    {
        charset = contentType.Substring(index + 8);
    }
}

Encoding encoding = null;
if (!string.IsNullOrEmpty(charset))
{
    try
    {
        encoding = Encoding.GetEncoding(charset);
    }
    catch (ArgumentException)
    {
        encoding = null;
    }
}
if (encoding == null)
{
    encoding = Encoding.UTF8;
}

StreamReader reader = new StreamReader(response.GetResponseStream(), encoding);
string html = reader.ReadToEnd();

Console.WriteLine(html);

response.Close();
```



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2023-6-25 07:22:45 | 显示全部楼层
真厉害
回复

使用道具 举报

发表于 2023-7-2 23:28:58 | 显示全部楼层
有没有一种可能 ,ContentType 没有返回编码怎么办?当某些网站或APP固定有一种奇葩的编码时,ContentType又不返回编码咋搞?
 楼主| 发表于 2023-7-3 09:07:00 | 显示全部楼层
lkhjzw 发表于 2023-7-2 23:28
有没有一种可能 ,ContentType 没有返回编码怎么办?当某些网站或APP固定有一种奇葩的编码时,ContentType ...

没有的时候会取页面层的,或者使用默认的utf-8,这个自动识别不是100%的,必经不是通过字符识别的。
发表于 2023-7-9 13:16:02 | 显示全部楼层
看看有点厉害
发表于 2023-7-17 19:50:10 | 显示全部楼层
这个厉害了
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-4-20 08:36

© 2014-2021

快速回复 返回顶部 返回列表