搜索引擎研发的困难和发展方向
来源:http://FullSearch.Com 中文全文检索网 2006-2-17 14:36:30 王小川
关键词:搜索引擎发展方向
今天很高兴有机会在这里做这个题为《搜索引擎研发的困难和发展方向》的报告。几年前,搜狐公司的地址在建国门附近,那是一个商业的环境;2003年,公司研发中心成立于清华同方大厦,在这里,公司可以得到更多技术力量的支持;2004年,搜狐公司整体迁入清华科技园区。依此,我们看到一种轨迹:搜狐公司本身作为一家企业,已由原先的市场导向转变成为了现在的技术驱动,与高校之间建立了紧密的合作关系。
1.搜索与搜索引擎
搜索与搜索引擎的区别在于,搜索引擎是一个技术上的概念,是一种以技术为核心的服务;而搜索则更偏向产业化。今天着重讲的是中文网页搜索中遇到的困难和发展方向。
搜狗的成长道路
2003年9月,组建团队;
2004年8月,正式发布1.0版本;
2005年12月,正式发布2.5版本;
预计在2006年7月,达到业界同期领先水平。
搜索引擎的研发与其它项目不一样。由于其直接依托于技术、技术与经营密不可分,所以一般来说,搜索引擎应由商业化公司自行研发,并投入使用。在这里就需要一个界限,限定哪些工作是研发机构来做的,哪些是企业来做的。只有明确了这个界限,才能提高工作效率,开发出技术先进而又适合市场需求的大型搜索引擎。
2.搜索引擎面临的挑战
(1)工程方面
在98、99年,曾有人预测搜索引擎的开发是不可能的。由于互联网信息成指数增长,而要在如此海量的信息中作检索,根本无法做到。但如今,虽然搜索引擎的效果还不尽人意,但至少已经完成了其基本功能,在该领域跨出了一大步。
要支持一个如此复杂的引擎,就需要一个庞大的硬件环境,例如Google在全球,就拥有不止14万台服务器。这样的大系统,在开发、测试以及硬件的维护方面都给人们带来了一定的困难,甚至是挑战。
(2)学术研究方面
目前,公司已和清华大学建立了合作的关系,双方可以做到优势互补。
在搜索引擎开发过程中,海量数据的处理是现有的一大难题。在研究领域,语言模型可以做到高达97%的识别率;但在实际应用中,面对互联网海量数据,处理速度受到严重的影响,最尖端的技术成果变得无用武之地,导致开发商宁肯选择效率高而识别率低的技术。
在进行研发工作时,往往需要互联网上海量的真实数据。这些数据的采集在高校很难完成,而在公司就很容易获得。同样的,大量的人工标注工作,也是更适合在公司来做。
工程/运营构架的妥协是如今学术领域与工程领域之间的一大问题。例如,研究机构中研究出的优质算法,在实际应用中,会因为算法的过于精细和系统的过于庞大,导致可用性不强。
(3)社会方面
首先是垃圾信息的问题。在互联网中,有80%的信息是垃圾。用户搜索到的是精确信息,而公司内部需要组织团队去建立学习系统,以此来处理网上的垃圾信息。
由于搜索引擎中,海量数据的抓取很困难,有人曾考虑将搜索引擎与各网站建立合作关系,网站自行将数据推给搜索引擎;或者每个网站都建立说明文档,说明其有用信息。但这都将严重破坏搜索引擎的公正性,使搜索结果的意义大大丧失,故没有可发展的空间。
新生事物的产生,如Blog,也对搜索引擎的开发产生了一定影响。例如有的Blog上的信息比网站信息还要全面,而有的则全部是垃圾信息,这就给搜索引擎的检索工作带来了一定的困难。
3.搜索引擎未来的发展方向
(1)宽带的应用
对互联网上的音频、视频信息的内容进行整理,有效地描述,并做到高效的存储和传输,这是搜索引擎未来发展的方向之一。
(2)互动体验
Google已经改变了用户在互联网上冲浪、漫游的浏览习惯,而是将用户所需信息线性排列出来。未来,导航将是互联网浏览的主要方式:搜索引擎充分理解用户所要表达的主题,将所需信息按类别依次排列,呈现给用户,并加入更多的纠错能力,列出纠错提示。
(3)垂直化及入口占领
未来,搜索引擎将从平行搜索转向垂直搜索,只对某一领域的信息进行精确搜索,这种细化是搜索引擎未来发展的一个方向。而所谓入口,就是指搜索将变成用户登入互联网的第一道关卡,搜索引擎的品牌和用户的习惯将直接引导市场走向。
(4)互联网的进程
Google不但在搜索领域占有领先地位,现在也加入了网站翻译的领域,并取得了很好的效果。之所以Google在翻译工作上能取得好的成绩,就是因为它占有着其他人所不能完备的海量信息优势。这也是搜索引擎发展的一个趋势,例如在输入法等领域,同样可以通过对于海量信息的评测,加入传统字典中所不具有的信息。