苏飞论坛

标题: 如何快速加载二百万数据到内存里面去 [打印本页]

作者: luocaihuang 时间: 2014-10-10 09:38
标题: 如何快速加载二百万数据到内存里面去
飞哥请教下如何把200W条数据快速加载到内存里面去，
我用普通的for语句加载发现加载不到一半就出错了

作者: minidick 时间: 2014-10-10 10:19
你把程序数据贴出来看看

作者: 站长苏飞 时间: 2014-10-10 10:25
什么样的数据，从什么地方加载说清楚

如果是数据库直接用Reader就行了，不要一条一条加载一次加载，然后还要看看你是从本机加载还是服务器远程加载

作者: zasray 时间: 2014-10-11 05:13

minidick 发表于 2014-10-10 10:19
你把程序数据贴出来看看

赤裸裸。。。

作者: zasray 时间: 2014-10-11 05:13

minidick 发表于 2014-10-10 10:19
你把程序数据贴出来看看

赤裸裸。。。

作者: zasray 时间: 2014-10-11 05:13

minidick 发表于 2014-10-10 10:19
你把程序数据贴出来看看

赤裸裸。。。

作者: luocaihuang 时间: 2014-10-11 09:17

站长苏飞发表于 2014-10-10 10:25
什么样的数据，从什么地方加载说清楚

如果是数据库直接用Reader就行了，不要一条一条加载一次加载，然后 ...

我的数据来自数据我把所有的数据都读取出来了，然后我就把数据一条一条装入一个对象。最后我用List 把所有的对象添加好。就这个方法数量一大就有问题的

作者: 站长苏飞 时间: 2014-10-11 09:26

luocaihuang 发表于 2014-10-11 09:17
我的数据来自数据我把所有的数据都读取出来了，然后我就把数据一条一条装入一个对象。最后我用List ...

慢应该是从数据库读数据时慢，这个过程不应该，如果真是慢那就要看你的代码了。

作者: 水手 时间: 2014-10-11 10:06

luocaihuang 发表于 2014-10-11 09:17
我的数据来自数据我把所有的数据都读取出来了，然后我就把数据一条一条装入一个对象。最后我用List ...

“就这个方法数量一大就有问题的”，数据量大报什么问题？先确认是什么问题。

作者: luocaihuang 时间: 2014-10-11 10:23

水手发表于 2014-10-11 10:06
“就这个方法数量一大就有问题的”，数据量大报什么问题？先确认是什么问题。

未响应

作者: 水手 时间: 2014-10-11 11:30

luocaihuang 发表于 2014-10-11 10:23
未响应

应该是占用内存太大了。
http://msdn.microsoft.com/zh-cn/library/6sh2ey19(v=vs.110).aspx
仔细看下备注及性能注意事项信息。

作者: killse 时间: 2014-10-11 14:38
是界面假死还是什么

作者: 水中鱼 时间: 2014-10-13 23:21
是否因为内存不足

作者: luocaihuang 时间: 2014-10-14 09:43

水手发表于 2014-10-11 11:30
应该是占用内存太大了。
http://msdn.microsoft.com/zh-cn/library/6sh2ey19(v=vs.110).aspx
仔细看下 ...

估计是内存不足我昨晚测试了既然一个简单的winform 加载几百万的数据内存过G了

作者: luocaihuang 时间: 2014-10-14 09:46

水中鱼发表于 2014-10-13 23:21
是否因为内存不足

假如一些内存不足应该做些生处理哦

作者: 水手 时间: 2014-10-14 10:38
200万的数据也不是一下子就要用完的，边拿边用。取一部分，用一部分；循环处理即可。

欢迎光临苏飞论坛 (http://www.sufeinet.com/)