http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 4567|回复: 9

[基类库] C#百万行txt数据导入到程序中,用什么方式比较快

[复制链接]
发表于 2017-3-9 09:31:26 | 显示全部楼层 |阅读模式
昨天测试了下用普通的方式导入居然要10多分钟,求有经验的大神赐教


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2017-3-9 09:38:21 | 显示全部楼层
100W,10分钟其实不多,数据库之间的对Copy也差不多需要这么多时间。就算使用多线程也会受到IO读写的限制。
发表于 2017-3-9 09:38:52 | 显示全部楼层
当然也会受到列数,和索引等影响。
发表于 2017-3-9 15:12:00 | 显示全部楼层
强烈支持楼主ing……
发表于 2017-3-9 19:35:39 | 显示全部楼层
100w不多啊,
直接用
直接读取到数组中:string[] sts=File.ReadAllLines(filePath,Encoding.ASCII);
直接读取到字符串中:string str=File.readAllText(filePath,Encoding.ASCII);

发表于 2017-3-10 17:56:43 | 显示全部楼层
Mr.x 发表于 2017-3-9 19:35
100w不多啊,
直接用
直接读取到数组中:string[] sts=File.ReadAllLines(filePath,Encoding.ASCII);

Duang 直接炸了
发表于 2017-3-10 20:34:42 | 显示全部楼层
listview虚拟模式,千万级别的
发表于 2017-4-6 23:25:33 | 显示全部楼层
  速度很快,希望有帮助
   
void loadfromfile(string filename)
        {
            const long ChunkSize = 204800;//100K 每次读取文件,只读取100K
            byte[] bytcontent = new byte[ChunkSize];
            FileStream fs = new FileStream(filename, FileMode.Open);
            long dataLengthToRead = fs.Length;//获取下载的文件总大小

            m_strproxy = "";

            while (dataLengthToRead > 0)
            {
                int lengthRead = fs.Read(bytcontent, 0, Convert.ToInt32(ChunkSize));//读取的大小
                m_strproxy += System.Text.Encoding.Default.GetString(bytcontent);
                dataLengthToRead -= lengthRead;

                label3.Text = fs.Length.ToString() + ":" + dataLengthToRead.ToString();
                Application.DoEvents();

                Thread.Sleep(100);
            }

        }
发表于 2017-8-12 00:55:05 | 显示全部楼层
8楼的,你这个方法,假如数据是几十万个网址,手机号,或者其它,数据没有标准的分割符,你每次只读固定数据,如果我要边读边处理这段数据,那某些行的数据恺不是会错乱
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-3-29 14:46

© 2014-2021

快速回复 返回顶部 返回列表