电话号码归属地查询——分割较大的文本文件成若干小文件

---------------------- android培训、java培训、期待与您交流！ ----------------------

       本文是为参加传智播客asp.net黑马班写的第二篇asp.net技术文章。主题是将一个比较大的文本文件分割成若干个体积较小的小文件。

      题目来源：上次我有提到要做个基于数据库的电话号码归属地查询程序，单线程导入数据到数据库中比较费时，效率低下。所以，我就希望做成多线程导入资料，于是就有了上一文章主题：验证多线程同时往一个数据表中插入数据。通过上次文章知道，MS sqlserver是支持多线程同时往一个数据表中写数据的。解决了写数据的问题，那么还有读数据的问题，即如何用多线程将数据读出来？

      由于我下的号段资料是在一个比较大的文本文件中（10.3M），若用多线程同时读一个文件，除不知道是否可行外，也不太好控制，不知道各个线程分别该读哪些内容。于是我就想将大文件分割成数个体积相对较小的文件，然后让一个线程读取一个文件的内容，读完后再独立的往数据库中写数据。因此，接下来就得想方法将一个文件分割分若干份小文件。

      我们知道，操作一个文件肯定要用操作文件相关的IO类。通过查看帮助文档，发现对于有以下几个类可能能用到：

File：提供了很多静态方法操作文件；

FileStream：提供有丰富的读写文件的方法；

Directory：扫描目录，获取文件；

Path：操作文件路径；

好了，准备工作完成，开始写代码，如下：

        private void button2_Click(object sender, EventArgs e)
        {

            if (SplitFiles())
            {
                MessageBox.Show("分割完成！");
            }
            else
            {
                MessageBox.Show("分割失败！");
            }
            

        }

        /// <summary>
        /// 分割文件
        /// </summary>
        /// <returns>成功：true；失败：false</returns>
        bool SplitFiles()
        {
            FolderBrowserDialog filePath = new FolderBrowserDialog();
            if (filePath.ShowDialog() != DialogResult.OK)
            {
                return false;
            }
            string path = filePath.SelectedPath;//得到用户选择的路径
            string[] files = Directory.GetFiles(path, "*.txt", SearchOption.TopDirectoryOnly);//得到路径下的所有文本文件

            foreach (var file in files)//遍历目录下的文件
            {
                int i = 0;
                int readLength =0;
                byte[] bytesRead;
                int getBytes = 0;
                int writeLength = 1024 * 100;//新文件的大小：100K

                //开始读文本数据
                using (FileStream fs = new FileStream(file, FileMode.Open, FileAccess.Read))
                {
                    readLength = (int)fs.Length;
                    bytesRead = new byte[readLength];
                    while (readLength > 0)
                    {

                        int n = fs.Read(bytesRead, getBytes, bytesRead.Length);

                        if (n == 0)
                        {
                            break;
                        }
                        getBytes += n;
                        readLength -= n;
                    }
                }
                
                //建立保存新文件的目录
                string newPath = path + @"\" + Path.GetFileNameWithoutExtension(file) + @"\";
                if (Directory.Exists(newPath) == false)
                {
                    Directory.CreateDirectory(newPath);
                }

                //开始将数据写入小文件中
                while (getBytes > 0)
                {
                    i++;
                    string newfile = newPath + i.ToString() + ".txt";
                    using (FileStream fw = new FileStream(newfile, FileMode.Create, FileAccess.Write))
                    {
                        if (getBytes < writeLength)
                        {
                            fw.Write(bytesRead, readLength, getBytes);
                        }
                        else
                        {
                            fw.Write(bytesRead, readLength, writeLength);
                        }
                    }
                    readLength += writeLength;
                    getBytes -= writeLength;
                }
                
            }
            return true;
        }

通过测试，这个程序      运行结果基本符合预期。但并不是完美的，由于文本文件中的数据一行就是一条完整记录。如下图：

而FileStream基于      数据流进行操作的，因此会造成有些行被分割了。上半条数据在一个文件的尾部，下半条数据在一个文件的开头。如下如所示：

      如果在往数据库写数据时，读取到这样的数据将发生异常。想了很久，都无法解决这个问题。如果有哪位高手要知道怎么做，欢迎给出解决办法，不胜感激。

---------------------- android培训、java培训、期待与您交流！ ----------------------