我们项目中需要实现一个日志查看控件,这本是一个很简单的需求:写一个通用的控件,将字符串绑定到RichTextBox, 如果要查看日志,将日志赋值给字符串即可。这个控件很简单,在绝大多数情况下工作的都很好。但是最近经常有客户报告说日志打不开,或者打开后就无法响应了。检查后发现这些无法打开的日志都很巨大,文件长度大多都超过几千万行。显然不带任何优化的文本阅读器都撑不住这个级别的文本。通过观察及与客户的沟通,他们的典型的操作是鼠标上下滚动,翻阅前后内容。拖拽滚动条到某一个段落,然后在局部操作,如果文件很大,他们几乎不会全文阅读。客户希望操作的过程能够尽量不卡,或者少卡。
要实现这个需求并不容易。首先想到的就是不能一口气将所有字符都载入内存。只能一段一段的载入,同时这些段落又不能是离散的, 因为他们还需要上下滚动鼠标也能够平滑。通过比较简单的需求分析,我们发现最初的设计一个文本阅读器已经分裂成两个子任务了:1)文件操作 2)界面显示。
1)文件操作
我们需要实现一个类似于StreamReader的类,但是需要另外增加ReadNextLine(), ReadPreviousLine(), Locate() 方法。即读下一行的内容,读上一行的内容,定位到某一行。我们想到了以行为单位做索引。比如说,一个文件有一千万行,类初始化时,我们先将每行的偏移值算出,当要定位(Locate)到某一行时,直接通过索引找到这个偏移值,然后file seek。这个操作是瞬时的。但是前面的索引太耗时了。我做了一个实验,在我的笔记本上(lenovo T430s)计算一千万行文件的索引需要将近2分钟。而且如果所有的索引都保存在内存,