C#百万行txt数据导入到程序中，用什么方式比较快

stone848288080

昨天测试了下用普通的方式导入居然要10多分钟，求有经验的大神赐教

站长苏飞

100W，10分钟其实不多，数据库之间的对Copy也差不多需要这么多时间。就算使用多线程也会受到IO读写的限制。

站长苏飞

当然也会受到列数，和索引等影响。

laoou123

强烈支持楼主ing……

Mr.x

100w不多啊，
直接用
直接读取到数组中：string[] sts=File.ReadAllLines(filePath,Encoding.ASCII);
直接读取到字符串中：string str=File.readAllText(filePath,Encoding.ASCII);

小哲

Mr.x 发表于 2017-3-9 19:35
100w不多啊，
直接用
直接读取到数组中：string[] sts=File.ReadAllLines(filePath,Encoding.ASCII);

Duang 直接炸了

越狱

listview虚拟模式，千万级别的

patrick0814

  速度很快，希望有帮助
   
void loadfromfile(string filename)
        {
            const long ChunkSize = 204800;//100K 每次读取文件，只读取100K
            byte[] bytcontent = new byte[ChunkSize];
            FileStream fs = new FileStream(filename, FileMode.Open);
            long dataLengthToRead = fs.Length;//获取下载的文件总大小

            m_strproxy = "";

            while (dataLengthToRead > 0)
            {
                int lengthRead = fs.Read(bytcontent, 0, Convert.ToInt32(ChunkSize));//读取的大小
                m_strproxy += System.Text.Encoding.Default.GetString(bytcontent);
                dataLengthToRead -= lengthRead;

                label3.Text = fs.Length.ToString() + ":" + dataLengthToRead.ToString();
                Application.DoEvents();

                Thread.Sleep(100);
            }

        }

50377564

8楼的,你这个方法,假如数据是几十万个网址,手机号,或者其它,数据没有标准的分割符,你每次只读固定数据,如果我要边读边处理这段数据,那某些行的数据恺不是会错乱