OCR:光学字符识别技术

OCR:光学字符识别技术

　　所谓OCR （Optical Character Recognition光学字符识别）技术，是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。

　　由于OCR是一门与识别率拔河的技术，因此如何除错或利用辅助信息提高识别正确率，是OCR最重要的课题，ICR（Intelligent Character Recognition）的名词也因此而产生。而根据文字资料存在的媒体介质不同，及取得这些资料的方式不同，就衍生出各式各样、各种不同的应用。

OCR的发展

　　要谈OCR的发展，早在60、70年代，世界各国就开始有OCR的研究，而研究的初期，多以文字的识别方法研究为主，且识别的文字仅为0至9的数字。以同样拥有方块文字的日本为例，1960年左右开始研究OCR的基本识别理论，初期以数字为对象，直至1965至1970年之间开始有一些简单的产品，如印刷文字的邮政编码识别系统，识别邮件上的邮政编码，帮助邮局作区域分信的作业；也因此至今邮政编码一直是各国所倡导的地址书写方式。

　　OCR可以说是一种不确定的技术研究，正确率就像是一个无穷趋近函数，知道其趋近值，却只能靠近而无法达到，永远在与100%作拉锯战。因为其牵扯的因素太多了，书写者的习惯或文件印刷品质、扫描仪的扫描品质、识别的方法、学习及测试的样本……等等，多少都会影响其正确率，也因此， OCR的产品除了需有一个强有力的识别核心外，产品的操作使用方便性、所提供的除错功能及方法，亦是决定产品好坏的重要因素。

　　一个OCR识别系统，其目的很简单，只是要把影像作一个转换，使影像内的图形继续保存、有表格则表格内资料及影像内的文字，一律变成计算机文字，使能达到影像资料的储存量减少、识别出的文字可再使用及分析，当然也可节省因键盘输入的人力与时间。

　　从影像到结果输出，须经过影像输入、影像前处理、文字特征抽取、比对识别、最后经人工校正将认错的文字更正，将结果输出。

影像输入：

　　欲经过OCR处理的标的物须透过光学仪器，如影像扫描仪、传真机或任何摄影器材，将影像转入计算机。科技的进步，扫描仪等的输入装置已制作的愈来愈精致，轻薄短小、品质也高，对OCR有相当大的帮助，扫描仪的分辨率使影像更清晰、扫除速度更增进OCR处理的效率。

　　影像前处理：影像前处理是OCR系统中，须解决问题最多的一个模块，从得到一个不是黑就是白的二值化影像，或灰阶、彩色的影像，到独立出一个个的文字影像的过程，都属于影像前处理。包含了影像正规化、去除噪声、影像矫正等的影像处理，及图文分析、文字行与字分离的文件前处理。在影像处理方面，在学理及技术方面都已达成熟阶段，因此在市面上或网站上有不少可用的链接库；在文件前处理方面，则凭各家本领了；影像须先将图片、表格及文字区域分离出来，甚至可将文章的编排方向、文章的提纲及内容主体区分开，而文字的大小及文字的字体亦可如原始文件一样的判断出来。

　　文字特征抽取：单以识别率而言，特征抽取可说是 OCR的核心，用什么特征、怎么抽取，直接影响识别的好坏，也所以在OCR研究初期，特征抽取的研究报告特别的多。而特征可说是识别的筹码，简易的区分可分为两类：一为统计的特征，如文字区域内的黑/白点数比，当文字区分成好几个区域时，这一个个区域黑/白点数比之联合，就成了空间的一个数值向量，在比对时，基本的数学理论就足以应付了。而另一类特征为结构的特征，如文字影像细线化后，取得字的笔划端点、交叉点之数量及位置，或以笔划段为特征，配合特殊的比对方法，进行比对，市面上的线上手写输入软件的识别方法多以此种结构的方法为主。

　　对比数据库：当输入文字算完特征后，不管是用统计或结构的特征，都须有一比对数据库或特征数据库来进行比对，数据库的内容应包含所有欲识别的字集文字，根据与输入文字一样的特征抽取方法所得的特征群组。

对比识别：

　　这是可充分发挥数学运算理论的一个模块，根据不同的特征特性，选用不同的数学距离函数，较有名的比对方法有，欧式空间的比对方法、松弛比对法（Relaxation）、动态程序比对法（Dynamic Programming，DP），以及类神经网络的数据库建立及比对、HMM（Hidden Markov Model）…等著名的方法，为了使识别的结果更稳定，也有所谓的专家系统（Experts System）被提出，利用各种特征比对方法的相异互补性，使识别出的结果，其信心度特别的高。

　　字词后处理：由于OCR的识别率并无法达到百分之百，或想加强比对的正确性及信心值，一些除错或甚至帮忙更正的功能，也成为OCR系统中必要的一个模块。字词后处理就是一例，利用比对后的识别文字与其可能的相似候选字群中，根据前后的识别文字找出最合乎逻辑的词，做更正的功能。

　　字词数据库：为字词后处理所建立的词库。

人工校正：

　　OCR最后的关卡，在此之前，使用者可能只是拿支鼠标，跟着软件设计的节奏操作或仅是观看，而在此有可能须特别花使用者的精神及时间，去更正甚至找寻可能是OCR出错的地方。一个好的OCR软件，除了有一个稳定的影像处理及识别核心，以降低错误率外，人工校正的操作流程及其功能，亦影响OCR的处理效率，因此，文字影像与识别文字的对照，及其屏幕信息摆放的位置、还有每一识别文字的候选字功能、拒认字的功能、及字词后处理后特意标示出可能有问题的字词，都是为使用者设计尽量少使用键盘的一种功能，当然，不是说系统没显示出的文字就一定正确，就像完全由键盘输入的工作人员也会有出错的时候，这时要重新校正一次或能允许些许的错，就完全看使用单位的需求了。

结果输出：

　　其实输出是件简单的事，但却须看使用者用OCR到底为了什么？有人只要文本文件作部份文字的再使用之用，所以只要一般的文字文件、有人要漂漂亮亮的和输入文件一模一样，所以有原文重现的功能、有人注重表格内的文字，所以要和Excel等软件结合。无论怎么变化，都只是输出档案格式的变化而已。如果需要还原成原文一样格式，则在识别后，需要人工排版，耗时耗力。中文OCR

中文OCR

　　光学符号识别技术是一种汉字文稿的自动输入方式，它通过光学扫描仪和计算机的配合，经OCR软件将图像数据进行运算分类后，将图像数据转化为计算机内码，可以极大减轻数据录入工作的强度，提高数据录入的速度。

　　文献资料的数字化录入，一般分为：

　　1、纯图像方式。

　　2、目录文本、正文图像方式。

　　3、全文本方式。

　　4、全文索引方式。文本方式和图像方式的混合体。

　　我国在OCR技术方面的研究工作起步较晚，在70年代才开始对数字、英文字母及符号的识别进行研究，70年代末开始进行汉字识别的研究，到1986年汉字识别的研究进入一个实质性的阶段，不少研究单位相继推出了中文OCR产品.

　　我国目前使用的文本型OCR软件主要有清华文通TH-OCR、北信BI-OCR、中自ICR、沈阳自动化所SY-OCR、北京曙光公司NI-OCR（已被中自汉王并购）等，匹配的扫描仪则使用市面上的平板扫描仪。

ＯＣＲ衡量标准

　　衡量一个OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性及可行性等方面。

ＯＣＲ工作原理

　　识别过程:

　　书本级：中文，英文；简体，繁体；

　　版式级：竖排，横排；有无分栏；

　　行切分

　　字切分

　　识别：真正的OCR识别过程，图像信息还原成文本信息

　　后处理：人工干预，主要集中在前四个阶段。

　　识别精度可以达到99%

OCR识别率决定因素

　　1.图片的质量，一般建议150dpi以上

　　2.颜色，一般对彩色识别很差，黑白的图片较高，因此建议ocr的为黑白tif格式

　　3.最重要的就是字体，如果是手写识别率很低。

　　国内OCR识别简体差错率为万分之三，如果要求更高的精度需要投入更大的人工干预。繁体识别由于繁体字库的不统一性（民国时期的字库和现在繁体字库不统一），导致识别困难，在人工干预下，精度能达到90%以上（图文清晰情况下）。

　　OCR是计算机输入技术的一种，它通过模式识别将文字的图像文件转化为可编辑的文本文件，彻底改变了计算机纸介质资料输入的概念。只要用扫描仪将文本图像输入计算机，就可转化为可修改的文本文件，这比手工输入速度快了几十倍。随着OCR技术的广泛应用，它正逐渐被人们所知晓。国际软件巨头微软在研发XP系统的时候，就意识到OCR的市场需求，在发布的Office 2003中全面配装了TH-OCR(北京文通信息技术有限公司开发）;硬件方面的领袖企业英特尔公司也确定TH-OCR为MMX技术支持项目。

　　近期，一些大公司意识到OCR的好处，开始在自己的产品中捆绑OCR技术。Google已经启动OCR软件的开发工作，在它的招聘启示中这样写道：“Google currently "reads" almost every web page in the world. Come help us read all the printed material as well!”(Google现在已经能够“阅读”世界上几乎所有网页，你的到来将让Google阅读所有印刷信息!)。随着google启动OCR开发工作，OCR应用进入了全面爆发时代。

　　无论是让计算机对文字进行排版输出，还是要让计算机认识它看到文字，所有这一切都是为我们生活服务。信息化和数字化的进程，让我们不再安于用十指敲击键盘来输入数据。人们希望能将时间和精力投入到更具创造性的工作中去，因而希望计算机等辅助设备能更具智慧。OCR(Optical Character Recognition，光学字符识别)技术就是其中的一项，跟打印技术相对，它是让计算机认字的一种技术，这远比打印复杂得多。

　　经济竞争带来更多的商务活动，每个活动上名片都是必不可少的主角，名片的管理产品也应运而生，名片识别管理工具同样也是以OCR技术为核心的产品。通过名片识别工具将名片进行扫描、识别、分类，不仅能够导入手机、PDA等，而且还能为名片信息进行备份，不用担心遗失。文通e-card就是一款优秀的名片识别管理产品，OCR技术能把商务生活打理得有条不紊，节约更多的时间。现在，几乎所有的扫描仪和一体机上都配装OCR软件，比如HP、UNISCAN、EPSON、CANON、 LENOVO等扫描仪厂商捆绑的就是文通TH-OCR。

OCR:牛津、剑桥和RSA考试局　

　　OCR：Oxford Cambridge and RSA Examinations，中文全称“牛津、剑桥和RSA考试局”，隶属剑桥大学“评估小组”。每年约有300万人参加“OCR”组织的A-level课程考试。目前不考虑在中国发展。

OCR的“单元报告”的三大特色

课程作业报告（Coursework）

　　课程作业是以解决现实生活中的一个具体问题为情境，要求学生完成的一项系统设计。

　　报告中开头列出的几个“需要注意的问题”，体现出OCR认真严谨的工作态度及人性化的评价理念。比如：

　　（1）“评注”：要求教师在评分时在得分点说明得分的原因，以便OCR了解是否真正掌握了评分标准；

　　（2）“评分标准”：要求学校必须严格遵照OCR制定的评分标准来判分，不许自拟标准，以免影响考生成绩；

　　（3）“通信与交流”：强调教师评分时，一定要给考生一定的“通信与交流”方面的情感态度分，有的教师在这方面判分太过苛刻，这是不合适的。

　　而报告的核心内容则是以五大评估目标（Assessment Object，缩写为AO）为依据对课程作业中逐个知识点得分情况的分析，这五项目标既是评判分数的准绳又是分析评估结果的依据。目标具体内容为：

　　AO1：通过ICT的学习，适当运用所学知识、技能及理解能力处理某些事件。

　　AO2：分析、设计、完成、测试、评估、证明人们使用的信息通讯系统，加深对于广泛应用ICT的影响的理解。

　　AO3：理性分析自身和他人使用ICT的过程和方法。

　　AO4：讨论、评论ICT广泛应用的影响。

　　AO5：在不断使用ICT的过程中，考虑信息的社会、经济、政治、法律、民族、道德的影响及其安全性。

　　现以Assesment Object 2[z1] （AO2）为例：

　　表1 考生AO2得分情况[3]

AO2得分点	考生得分情况
分析	作为整个课程作业的关键，考生在这一步完成得非常出色，他们准确地把握住了任务的目的及设计的焦点问题
设计、完成、测试	此处分为两个得分等级，较低等级的考生是仅能够分析任务，并且完成一个ICT系统；而较高等级的考生在完成任务的过程中，还为自己的设计加以说明，譬如为何对设计作如此的改变，为何这部分设计保留而放弃另外一部分等等；同时OCR指出一些学校在此处给分过于慷慨，OCR会针对这部分给考生成绩做出调整
评价、实施、效果	整个作业得分最少的点，考生没有体现出ICT相对其他信息处理方式的独特优势，也没有证明何时使用及为何使用ICT是完成任务的最佳方式
说明	要求考生有一个作业说明，即说明系统的使用对象、系统的主要功能等，目的在于督促学生养成良好的设计习惯

　对于“课程作业”这种高度开放的评价模式，为了避免评分的主观性和欠科学性，OCR在评分标准中从整体评价目的到具体各项评价指标的权重、分值等都作了严格的要求和详细的阐述，力图达到主观题的客观化，有力的加强了评价的可观察性和可测量性。

　　那么，在评估报告中，再结合考试的实际情况给予更充分的说明和例证，将评分标准中抽象的数字及说明形象化，一方面可以帮助教师更加准确的把握评分标准的思想，从而提高以后判分的质量，保证考试的公平性；另一方面相当于提供了一份课程作业指导文件，帮助师生进一步解读课程作业所考察的主题和内容，以期阅读报告后教师能够在以后的教学中调整教学思路并给学生提供更有针对性的指导和训练，学生能够发现自己的长处与不足，以免在以后的作业中无所适从或放任自流。

　　在我国，信息技术课是一门基于活动和实践的课程，“课程作业”这种质的评价方式对于全面考察信息素养水平也是极其重要的。但是在高考、会考这些高利害的考试中，由于社会文化背景，学校所面对的压力，课程和试题发展的不成熟以及这种评价方式自身的特点，建议在总结性评价中对采用“课程作业”的方式仍然持谨慎态度。

“笔试基础卷报告”及“笔试高级卷报告”

　　“笔试基础卷报告”和“笔试高级卷报告”分别就试卷中每道题目考生的回答情况作了详细分析，本文选取2007年基础卷的第2题为例说明报告的内容，该题旨在考察考生如何思考并评论ICT对社会生活的影响（AO4）。

　　原题为：Wordsworth牙科诊所通过e-mail和短信息的方式与病人进行交流。

　　（a）什么设备可以接受短信息？

　　（b）说出一种对病人来说，这种短信息预约提醒的好处？

　　（c）说出两种对Wordsworth牙科诊所来说，使用e-mail与病人交流的好处？

　　（d）说出两种在没有e-mail和短信息的情况下，可以与病人沟通的方式。

　　表2 第2题答题情况分析[4]

题号	考生答题情况
2（a）	很好，但是有些考生只是简单的回答“电话”，而没有准确的指出是“移动电话”
2（b）	尚可，许多考生仅是将问题换了一种表述的方式来作为回答，这是不能得分的
2（c）	不太好，大多考生审题不清，是从病人的角度回答问题，而不是从牙科诊所的角度；有的考生只用了“快速”、“简单”等一个单词就完成了回答，没有陈述理由，显得答案过于单薄，且缺乏说服力；还有的考生只是回答了使用e-mail的好处，而没有与牙科诊所相结合
2（d）	尚可

　报告结合试题，指出考生要么由于没有使用正确的专业词汇；要么因为曲解题意、审题不清，导致答题的角度错误；要么因为回答过于简单而扣分或得不到满分，所以提醒学校应在平时注意加强训练考生答题的完整及专业用语的规范等。这种针对具体题目的分析，将考生存在的问题清晰地呈现给阅读者，具有较强的说服力。

单元成绩门槛表(Grade Thresholds)

　　表3 各单元的等级分数门槛表

单元	满分	A*	A	B	C	D	E	F	G	U
试卷1基础	Raw	40	-	-	-	37	32	27	23	19	0
UMS	55	-	-	-	48	40	32	24	16	0
试卷1高级	Raw	40	39	35	31	28	23	20	-	-	0
UMS	80	-	64	56	48	40	-	-	-	0
课程作业	Raw	64	60	51	42	34	28	23	18	13	0
UMS	120	-	96	84	72	60	48	36	24	0
扩充课程作业	Raw	64	60	51	42	34	28	23	18	13	0
UMS	120		96	84	72	60	48	36	24	0
试卷2基础	Raw	55	-	-	-	37	31	25	19	13	0
UMS	55	-	-	-	48	40	32	24	16	0
试卷2高级	Raw	80	54	47	40	33	25	21	-	-	0
UMS	80		64	56	48	40	-	-	-	0

　这张表公布了每个单元的成绩等级划分标准，此门槛是依据每年学生各个单元的试卷成绩整体情况计算、权衡得出的，因而每年的门槛成绩都会略有改动。由于笔试试卷１与笔试试卷２的卷面原始分值不同，所以将试卷１的分数以试卷２的总分为标准折算成标准分，这样方能确保考生所得分数是在同一个标准下得出的，从而保证了考试的公平与公正。

　　而OCR给学生打出的最终等级成绩，是按照每个单元占总成绩相对比重的不同为每个单元赋予一定的权重，然后根据各个单元的权重，利用科学的数据合并方法进行数据合并而得出的。

　　在新课程背景下，一直倡导改革传统的量化评价方法，而注重质的评价，所以具有相对稳定内涵的等级评定法也是我国信息技术课比较推崇的评价方法。但是从几个已经采用等级评定法的实验区所公布的方案来看，主要有以下两个问题：一是划分的等级过于简单，有的地区分为优秀、良好、及格和不及格，还有的地区分为A—D四个等级，这样的划分过于粗略，无法相对准确的表明学生的能力水平；二是各地区事先公布的等级门槛随意性太大，更降低了它的权威性。英国的“等级分数门槛表”，是在了解了同年考生的考试整体情况以后再计算出门槛成绩，这样保证了每年考试成绩的相对参考价值，使学生成绩不会因为各年试题的难易程度的不同而出现大的波动，而我国目前的做法太过简单，不具说服力。英国的报告让我们看到了等级评定法规范、严谨的一面。

　　这篇“单元报告”对此次会考作了较透彻的评析，沿袭了英国信息通信技术课总结性评价人文气息浓厚的风格，语言中肯、易懂且以鼓励为主，分析深入、到位并用实例佐证。它主要目的是通过总结和剖析考试的结果，发现问题，以期能帮助教师进一步理解教学大纲、改进教学，并为教师了解评估方案的实施、评分标准的应用等方面提供有针对性的指导。所以报告内容紧紧围绕着五大评估目标逐步深入，从概括到具体多层次、多角度的呈现了考试中发现的问题。