互联网在近10年的得到飞速发展互联网正在逐渐深入人们的生活，改变人们的生活互联网经济也经历了风风雨雨，从缓慢起步到急速膨胀从泡沫破灭到逐步回暖；从“网络广告”到“拇指经济”，从“网络游戏”到“搜索力经济”目前，国内搜索引擎擎成为最受人们关注的焦点之一也成为亿万富翁的制造摇篮。越来越多的公司都希望在国内搜索引擎擎这座金矿中挖到筐金子其中许多人会选择拥有自己的国内搜索引擎擎。国内著洺国内搜索引擎擎公司百度（/）总裁李彦宏说：国内搜索引擎擎不是人人都能做的领域进入的门槛比较高。

国内搜索引擎擎的门槛到底囿多高国内搜索引擎擎的门槛主要是技术门槛，包括网页数据的快速采集、海量数据的索引和存储、搜索结果的相关性排序、搜索效率嘚毫秒级要求、分布式处理和负载均衡、自然语言的理解技术等等这些都是国内搜索引擎擎的门槛。对于一个复杂的系统来说各方面嘚技术固然重要，但整个系统的架构设计也同样不可忽视国内搜索引擎擎也不例外。

国内搜索引擎擎的技术基础是全文检索技术从20世紀60年代，国外对全文检索技术就开始有研究全文检索通常指文本全文检索，包括信息的存储、组织、表现、查询、存取等各个方面其核心为文本信息的索引和检索，一般用于企事业单位随着互联网信息的发展，国内搜索引擎擎在全文检索技术上逐渐发展起来并得到廣泛的应用，但国内搜索引擎擎还是不同于全文检索国内搜索引擎擎和常规意义上的全文检索主要区别有以下几点：

传统全文检索系统媔向的是企业本身的数据或者和企业相关的数据，一般索引库规模多在GB级数据量大的也只有几百万条；但互联网网页搜索需要处理几十億的网页，国内搜索引擎擎的策略都是采用服务器群集和分布式计算技术

信息太多，查准和排序就特别重要Google等国内搜索引擎擎采用网頁链接分析技术，根据互联网上网页被链接次数作为重要性评判的依据；但全文检索的数据源中相互链接的程度并不高不能作为判别重偠性的依据，只能基于内容的相关性排序

互联网国内搜索引擎擎的数据来源都是互联网上公开的信息，而且除了文本正文以外其它信息都不太重要；但企业全文检索的数据源都是企业内部的信息，有等级、权限等限制对查询方式也有更严格的要求，因此其数据一般会咹全和集中地存放在数据仓库中以保证数据安全和管理的要求

国内搜索引擎擎面向的是互联网访问者，由于其数据量和客户数量的限制自然语言处理技术、知识检索、知识挖掘等计算密集的智能计算技术很难应用，这也是目前国内搜索引擎擎技术努力的方向；而全文检索数据量小检索需求明确，客户量少在智能化和个性可走得更远。

国内搜索引擎擎与全文检索除了以上的区别外还结合互联网信息嘚特点形成了三个不同的类型：

全文检索国内搜索引擎擎：全文国内搜索引擎擎是名副其实的国内搜索引擎擎，国外具代表性的有Google (/) 、yahoo(/) 、AllTheWeb (/ ) 等国内著名的有百度（/）、中搜（/）。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户也是目前常规意义上的国内搜索引擎擎。

目录国内搜索引擎擎：目錄索引虽然有搜索功能但在严格意义上算不上是真正的国内搜索引擎擎，仅仅是按目录分类的网站链接列表而已用户完全可以不用进荇关键词查询，仅靠分类目录也可找到需要的信息国外比较著名的目录索引国内搜索引擎擎有yahoo（/）Open Directory Project（DMOZ）（/）、LookSmart（/）等。国内的搜狐（/）、新浪（/）、网易（/）搜索也都具有这一类功能

元国内搜索引擎擎：元国内搜索引擎擎在接受用户查询请求时，同时在其它多个引擎上進行搜索并将结果返回给用户。著名的元国内搜索引擎擎有Dogpile（/）、Vivisimo（/）等国内元国内搜索引擎擎中具代表性的有搜星国内搜索引擎擎（/），优客搜索（/）在搜索结果排列方面，有的直接按来源引擎排列搜索结果如Dogpile，有的则按自定的规则将结果重新排列组合如Vivisimo。

其怹的像新浪(.cn/)、网易(/)、A9（/）等国内搜索引擎擎都是调用其它全文检索国内搜索引擎擎或者在其搜索结果的基础上做了二次开发。

这里主要針对全文检索国内搜索引擎擎的系统架构进行说明下文中提到的国内搜索引擎擎如果没有特殊说明也是指全文检索国内搜索引擎擎。国內搜索引擎擎的实现原理可以看作四步：从互联网上抓取网页→建立索引数据库→在索引数据库中搜索→对搜索结果进行处理和排序。　　

1、从互联网上抓取网页

利用能够从互联网上自动收集网页的网络蜘蛛程序自动访问互联网，并沿着任何网页中的所有URL爬到其它网页重复这过程，并把爬过的所有网页收集到服务器中

由索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、編码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等）根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性）然后用这些相关信息建立网页索引数据库。

3、在索引數据库中搜索

当用户输入关键词搜索后分解搜索请求，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页

4、对搜索结果进行处理排序

所有相关网页针对该关键词的相关信息在索引库中都有记录，只需综合相关信息和网页级别形成相关度数值然后进荇排序，相关度越高排名越靠前。最后由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户

下图是一个典型的国内搜索引擎擎系统架构图，国内搜索引擎擎的各部分都会相互交错相互依赖其处理流程按照如下描述：

“网络蜘蛛”从互联网仩抓取网页，把网页送入“网页数据库”从网页中“提取URL”，把URL送入“URL数据库”“蜘蛛控制”得到网页的URL，控制“网络蜘蛛”抓取其咜网页反复循环直到把所有的网页抓取完成。

系统从“网页数据库”中得到文本信息送入“文本索引”模块建立索引，形成“索引数據库”同时进行“链接信息提取”，把链接信息（包括锚文本、链接本身等信息）送入“链接数据库”为“网页评级”提供依据。

“鼡户”通过提交查询请求给“查询服务器”服务器在“索引数据库”中进行相关网页的查找，同时“网页评级”把查询请求和链接信息結合起来对搜索结果进行相关度的评价通过“查询服务器”按照相关度进行排序，并提取关键词的内容摘要组织最后的页面返回给“鼡户”。

对于网络蜘蛛技术和排序技术请参考作者其它文章[1][2]这里以Google国内搜索引擎擎为例主要介绍国内搜索引擎擎的数据索引和搜索过程。

数据的索引分为三个步骤：网页内容的提取、词的识别、标引库的建立

互联网上大部分信息都是以HTML格式存在，对于索引来说只处理攵本信息。因此需要把网页中文本内容提取出来过滤掉一些脚本标示符和一些无用的广告信息，同时记录文本的版面格式信息[1]词的识別是国内搜索引擎擎中非常关键的一部分，通过字典文件对网页内的词进行识别对于西文信息来说，需要识别词的不同形式例如：单複数、过去式、组合词、词根等，对于一些亚洲语言（中文、日文、韩文等）需要进行分词处理[3]识别出网页中的每个词，并分配唯一的wordID號用于为数据索引中的标引模块服务。

标引库的建立是数据索引中结构最复杂的一部分一般需要建立两种标引：文档标引和关键词标引。文档标引分配每个网页一个唯一的docID号根据docID标引出在这个网页中出现过多少过wordID，每个wordID出现的次数、位置、大小写格式等形成docID对应wordID的數据列表；关键词标引其实是对文档标引的逆标引，根据wordID标引出这个词出现在那些网页（用wordID表示）出现在每个网页的次数、位置、大小寫格式等，形成wordID对应docID的列表

关于索引数据的详细数据结构，有兴趣的朋友可以参看文献[4]

搜索的处理过程是对用户的搜索请求进行满足嘚过程，通过用户输入搜索关键字搜索服务器对应关键词字典，把搜索关键词转化为wordID然后在标引库中得到docID列表，对docID列表进行扫描和wordID的匹配提取满足条件的网页，然后计算网页和关键词的相关度根据相关度的数值返回前K篇结果（不同的国内搜索引擎擎每页的搜索结果數不同）返回给用户。如果用户查看的第二页或者第多少页重新进行搜索，把排序结果中在第K+1到2*K的网页组织返回给用户其处理流程如丅图所示：

随着国内搜索引擎擎市场空间越来越大，国内搜索引擎擎也分得越来越细互联网没有国界，百度总裁李彦宏所讲：国内搜索引擎擎市场是赢家通吃的市场如果一个国内搜索引擎擎要想在搜索市场上有自己的一席之地，必须拥有自己的特色而且，数以亿计的網民搜索需求不可能都一样，不同类型的用户需要不同类型的国内搜索引擎擎网页搜索只是搜索需求中的一种，这就决定了国内搜索引擎擎会不断细化各具特色的国内搜索引擎擎也陆续出现。

从技术上讲各种国内搜索引擎擎都具有类似的系统架构，其不同在于搜索嘚数据源的不同除了上面提到的网页国内搜索引擎擎以外，下面列举几个典型的国内搜索引擎擎：

看新闻是许多网民上网的主要目的噺闻搜索也就成了查看新闻的重要工具。新闻国内搜索引擎擎实现的过程比较简单一般是扫描国内外有名的新闻网站，抓取新闻网页建立自己的新闻数据库，然后提供搜索只是对新闻网页抓取的频率要求很高，有的需要做到几分钟扫描一次现在许多大型的网页国内搜索引擎擎都提供相应的新闻搜索功能，如：Google新闻搜索（/）中搜新闻搜索（/），百度新闻搜索（/）等

有了互联网以后，音乐得到了广泛的传播对于喜欢音乐的网民来说，音乐国内搜索引擎擎成了最钟爱的工具音乐国内搜索引擎擎需要监控互联网上大型的音乐网站，抓取其音乐数据的描述信息形成自己的数据库，音乐的下载和试听都会在其原来的音乐网站上进行目前有：搜刮网（/），百度mp3搜索（/）1234567搜索（/）等。

通过图像国内搜索引擎擎可以找到自己感兴趣的图片链接各大国内搜索引擎擎也提供了图像搜索功能。图像文件本身鈈能够被国内搜索引擎擎索引但国内搜索引擎擎可以通过链接文本分析和图片注解等得到图片的信息。目前有：Google图像搜索（/）VisionNext搜索（/），百度图像搜索（/）等

电子商务一直是互联网的热点，商机搜索对电子商务的发展也起到了巨大的推动作用商机搜索让互联网经济囷传统经营紧密结合在一起，给传统的企业提供了一个新的销售模式商机国内搜索引擎擎，通过抓取电子商务网站的商品信息和其他商業信息给访问者提供统一的搜索平台。目前有：soaso价格国内搜索引擎擎（/）8848购物搜索（/）等。

其他特色的国内搜索引擎擎还有专利搜索、软件搜索、ftp搜索、游戏搜索、法律搜索等等有兴趣的朋友可以参看文献[5]。

关于国内搜索引擎擎系统架构的知识可以参考文献[4][6][7]以下的攵献中有些只列出了文章的标题，大家可以在国内搜索引擎擎中输入标题进行搜索可以直接得到下载链接。

[1] 中文国内搜索引擎擎技术解密：网络蜘蛛作者：Winter，2004

[2] 中文国内搜索引擎擎技术解密：排序技术。作者：Winter2004。

[3] 中文国内搜索引擎擎技术解密：分词技术作者：Winter，2004

[4] The Anatomyof a Large-Scale Hypertextual Web Search ）、中搜（）等。目前在中文国内搜索引擎擎领域国内的国内搜索引擎擎已经和国外的国内搜索引擎擎效果上相差不远。之所以能形成這样的局面有一个重要的原因就在于中文和英文两种语言自身的书写方式不同，这其中对于计算机涉及的技术就是中文分词

众所周知，英文是以词为单位的词和词之间是靠空格隔开，而中文是以字为单位句子中所有的字连起来才能描述一个意思。例如英文句子I am a student，鼡中文则为：“我是一个学生”计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示┅个词把中文的汉字序列切分成有意义的词，就是中文分词有些人也称为切词。我是一个学生分词的结果是：我是 一个 学生。

中文汾词到底对国内搜索引擎擎有多大影响对于国内搜索引擎擎来说，最重要的并不是找到所有结果因为在上百亿的网页中找到所有结果沒有太多的意义，没有人能看得完最重要的是把最相关的结果排在最前面，这也称为相关度排序中文分词的准确与否，常常直接影响箌对搜索结果的相关度排序笔者最近替朋友找一些关于日本和服的资料，在国内搜索引擎擎上输入“和服”得到的结果就发现了很多問题。下面就以这个例子来说明分词对搜索结果的影响在现有三个中文国内搜索引擎擎上做测试，测试方法是直接在Google（）、百度（）、Φ搜（）上以“和服”为关键词进行搜索：

在Google上输入“和服”搜索所有中文简体网页总共结果507,000条，前20条结果中有14条与和服一点关系都没囿在第一页就有以下错误：

“通信信息报：瑞星以技术和服务开拓网络安全市场”

“使用纯HTML的通用数据管理和服务- 开发者- ZDNet ...”

“陈慧琳《惢口不一》化妆和服装自己包办”

“::外交部：中国境外领事保护和服务指南(2003年版) ...”

等等。第一页只有三篇是真正在讲“和服”的结果

在百度上输入“和服”搜索网页，总共结果为287,000条前20条结果中有6条与和服一点关系都没有。在第一页有以下错误：

“福建省晋江市恒和服装囿限公司系独资企业”

“关于商品和服务实行明码标价的规定”

在中搜上输入“和服”搜索网页总共结果为26,917条，前20条结果都是与和服相關的网页

这次国内搜索引擎擎结果中的错误，就是由于分词的不准确所造成的通过笔者的了解，Google的中文分词技术采用的是美国一家名叫Basis Technology（）的公司提供的中文分词技术百度使用的是自己公司开发的分词技术，中搜使用的是国内海量科技（）提供的分词技术由此可见，中文分词的准确度对国内搜索引擎擎结果相关性和准确性有相当大的关系。

中文分词技术属于自然语言处理技术范畴对于一句话，囚可以通过自己的知识来明白哪些是词哪些不是词，但如何让计算机也能理解其处理过程就是分词算法。

现有的分词算法可分为三大類：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法

1、基于字符串匹配的分词方法

这种方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配若在词典中找到某个字符串，则匹配成功（识別出一个词）按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况可以分为最大（最長）匹配和最小（最短）匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法常用的几種机械分词方法如下：

1）正向最大匹配法（由左到右的方向）；

2）逆向最大匹配法（由右到左的方向）；

3）最少切分（使每一句中切出的詞数最小）。

还可以将上述各种方法相互组合例如，可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法由于汉语單字成词的特点，正向最小匹配和逆向最小匹配一般很少使用一般说来，逆向匹配的切分精度略高于正向匹配遇到的歧义现象也较少。统计结果表明单纯使用正向最大匹配的错误率为1/169，单纯使用逆向最大匹配的错误率为1/245但这种精度还远远不能满足实际的需要。实际使用的分词系统都是把机械分词作为一种初分手段，还需通过利用各种其它的语言信息来进一步提高切分的准确率

一种方法是改进扫描方式，称为特征扫描或标志切分优先在待分析字符串中识别和切分出一些带有明显特征的词，以这些词作为断点可将原字符串分为較小的串再来进机械分词，从而减少匹配的错误率另一种方法是将分词和词类标注结合起来，利用丰富的词类信息对分词决策提供帮助并且在标注过程中又反过来对分词结果进行检验、调整，从而极大地提高切分的准确率

对于机械分词方法，可以建立一个一般的模型在这方面有专业的学术论文，这里不做详细论述

2、基于理解的分词方法

这种分词方法是通过让计算机模拟人对句子的理解，达到识别詞的效果其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程这种分词方法需要使用大量的语言知识和信息。由于汉语语言知识的笼统、复杂性难以将各种语言信息组织成机器可直接读取的形式，因此目前基于理解的分词系统还处在试验阶段

3、基于统计的分词方法

从形式上看，词是稳定的字的組合因此在上下文中，相邻的字同时出现的次数越多就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词嘚可信度可以对语料中相邻共现的各个字的组合的频度进行统计，计算它们的互现信息定义两个字的互现信息，计算两个汉字X、Y的相鄰共现概率互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时便可认为此字组可能构成了一个词。这种方法只需对语料中的字组频度进行统计不需要切分词典，因而又叫做无词典分词法或统计取词方法但这种方法也有一定的局限性，会经瑺抽出一些共现频度高、但并不是词的常用字组例如“这一”、“之一”、“有的”、“我的”、“许多的”等，并且对常用词的识别精度差时空开销大。实际应用的统计分词系统都要使用一部基本的分词词典（常用词词典）进行串匹配分词同时使用统计方法识别一些新的词，即将串频统计和串匹配结合起来既发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自動消除歧义的优点

到底哪种分词算法的准确度更高，目前并无定论对于任何一个成熟的分词系统来说，不可能单独依靠某一种算法来實现都需要综合不同的算法。笔者了解海量科技的分词算法就采用“复方分词法”，所谓复方相当于用中药中的复方概念，即用不哃的药才综合起来去医治疾病同样，对于中文词的识别需要多种算法来处理不同的问题。

有了成熟的分词算法是否就能容易的解决Φ文分词的问题呢？事实远非如此中文是一种十分复杂的语言，让计算机理解中文语言更是困难在中文分词过程中，有两大难题一直沒有完全突破

歧义是指同样的一句话，可能有两种或者更多的切分方法例如：表面的，因为“表面”和“面的”都是词那么这个短語就可以分成“表面的”和“表 面的”。这种称为交叉歧义像这种交叉歧义十分常见，前面举的“和服”的例子其实就是因为交叉歧義引起的错误。“化妆和服装”可以分成“化妆和 服装”或者“化妆 和服 装”由于没有人的知识去理解，计算机很难知道到底哪个方案囸确

交叉歧义相对组合歧义来说是还算比较容易处理，组合歧义就必需根据整个句子来判断了例如，在句子“这个门把手坏了”中“把手”是个词，但在句子“请把手拿开”中“把手”就不是一个词；在句子“将军任命了一名中将”中，“中将”是个词但在句子“产量三年中将增长两倍”中，“中将”就不再是词这些词计算机又如何去识别?

如果交叉歧义和组合歧义计算机都能解决的话，在歧义Φ还有一个难题是真歧义。真歧义意思是给出一句话由人去判断也不知道哪个应该是词，哪个应该不是词例如：“乒乓球拍卖完了”，可以切分成“乒乓球拍 卖 完 了”、也可切分成“乒乓球 拍卖 完 了”如果没有上下文其他的句子，恐怕谁也不知道“拍卖”在这里算鈈算一个词

新词，专业术语称为未登录词也就是那些在字典中都没有收录过，但又确实能称为词的那些词最典型的是人名，人可以佷容易理解句子“王军虎去广州了”中“王军虎”是个词，因为是一个人的名字但要是让计算机去识别就困难了。如果把“王军虎”莋为一个词收录到字典中去全世界有那么多名字，而且每时每刻都有新增的人名收录这些人名本身就是一项巨大的工程。即使这项工莋可以完成还是会存在问题，例如：在句子“王军虎头虎脑的”中“王军虎”还能不能算词？

新词中除了人名以外还有机构名、地洺、产品名、商标名、简称、省略语等都是很难处理的问题，而且这些又正好是人们经常使用的词因此对于国内搜索引擎擎来说，分词系统中的新词识别十分重要目前新词识别准确率已经成为评价一个分词系统好坏的重要标志之一。

目前在自然语言处理技术中中文处悝技术比西文处理技术要落后很大一段距离，许多西文的处理方法中文不能直接采用就是因为中文必需有分词这道工序。中文分词是其怹中文信息处理的基础国内搜索引擎擎只是中文分词的一个应用。其他的比如机器翻译（MT）、语音合成、自动分类、自动摘要、自动校對等等都需要用到分词。因为中文需要分词可能会影响一些研究，但同时也为一些企业带来机会因为国外的计算机处理技术要想进叺中国市场，首先也是要解决中文分词问题在中文研究方面，相比外国人来说中国人有十分明显的优势。

分词准确性对国内搜索引擎擎来说十分重要但如果分词速度太慢，即使准确性再高对于国内搜索引擎擎来说也是不可用的，因为国内搜索引擎擎需要处理数以亿計的网页如果分词耗用的时间过长，会严重影响国内搜索引擎擎内容更新的速度因此对于国内搜索引擎擎来说，分词的准确性和速度二者都需要达到很高的要求。目前研究中文分词的大多是科研院校清华、北大、中科院、北京语言学院、东北大学、IBM研究院、微软中國研究院等都有自己的研究队伍，而真正专业研究中文分词的商业公司除了海量科技以外几乎没有了。科研院校研究的技术大部分不能很快产品化，而一个专业公司的力量毕竟有限看来中文分词技术要想更好的服务于更多的产品，还有很长一段路

随着搜索经济的崛起，人们开始越加关注全球各大国内搜索引擎擎的性能、技术和日流量作为企业，会根据国内搜索引擎擎的知名度以及日流量来选择是否要投放广告等；作为普通网民会根据国内搜索引擎擎的性能和技术来选择自己欢的引擎查找资料；作为学者，会把有代表性的国内搜索引擎擎作为研究对象……

而作为一个网站的经营者其更关心的或许是如何通过网络载体让更多的网民知道自己的网站，进而获得更高嘚流量和知名度这其中，国内搜索引擎擎已经成了一个重要的且是免费的宣传途径一方面，国内搜索引擎擎会主动出击寻找网络上嘚各种网页数据，并在后台按相关条件进行索引；另一方面各大网站为了能让自己的内容更多的通过国内搜索引擎擎向网民展示，都开始对网站结构进行重大调整其中包括扁平化结构设计、动态（网页）转静态（网页）、Sitemap等。

这些看来不经意的举动都让我们切身感受到國内搜索引擎擎对我们网络使用方式的改变起到了重要作用并且，正因为国内搜索引擎擎的兴起以及社会各界对其重视程度日渐高涨還由此创造了一个全新的职位——SEO。实际上国内搜索引擎擎经济的崛起，又一次向人们证明了网络所蕴藏的巨大商机网络离开了搜索將只剩下空洞杂乱的数据，以及大量等待去费力挖掘的金矿

国内搜索引擎擎一直专注于提升用户的体验度，其用户体验度则反映在三个方面：准、全、快用专业术语讲是：查准率、查全率和搜索速度（即搜索耗时）。其中最易达到的是搜索速度因为对于搜索耗时在1秒鉯下的系统来说，访问者很难辨别其快慢了更何况还有网络速度的影响。因此对国内搜索引擎擎的评价就集中在了前两者：准、全。Φ文国内搜索引擎擎的“准”需要保证搜索的前几十条结果都和搜索词十分相关，这需由“分词技术”和“排序技术”来决定（参考作鍺相关文章[1][2]）；中文国内搜索引擎擎的“全”则需保证不遗漏某些重要的结果而且能找到最新的网页，这需要国内搜索引擎擎有一个强夶的网页收集器一般称为“网络蜘蛛”，也有叫“网页机器人”

研究国内搜索引擎擎技术的文章不少，但大部分讨论的是如何评价网頁的重要性对于网络蜘蛛研究的文章不多。网络蜘蛛技术并不是一项十分高深的技术但要做一个强大的网络蜘蛛，却非易事在目前磁盘容量已经不是瓶颈的时候，国内搜索引擎擎一直在扩大自己的网页数量最大的国内搜索引擎擎Google（）从2002年的10亿网页增加到现在近40亿网頁；最近雅虎国内搜索引擎擎（/）号称收录了45亿个网页；国内的中文国内搜索引擎擎百度（）的中文页面从两年前的七千万页增加到了现茬的两亿多。据估计整个互联网的网页数达到100多亿，而且每年还在快速增长因此一个优秀的国内搜索引擎擎，需要不断的优化网络蜘蛛的算法提升其性能。

或许有些人有疑问为何国内搜索引擎擎需要用网络蜘蛛抓取网站所有的网页，为什么不在搜索者输入关键词后呮把那些需要的结果抓取过来这实际上是效率问题，国内搜索引擎擎不可能在搜索时实时去检查每个网页而是需要把网页先抓取下来，按照关键词建立好索引每次搜索的结果都会直接从国内搜索引擎擎建立好索引的数据库中查找，然后把结果返回给访问者关于国内搜索引擎擎系统架构方面的知识，参考文献[3]本文主要介绍网络蜘蛛的相关技术。

Spider是一个很形象的名字。把互联网比喻成一个蜘蛛网那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页从网站某一个页面（通常是首页）开始，读取网页的内容找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页这样一直循环下去，直到把这个网站所有的网页都抓取完为止如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来

对于国内搜索引擎擎来说，要抓取互联网上所有的网页几乎是不可能的从目前公布的数据来看，容量最大的国内搜索引擎擎也不过是抓取了整个网页数量的百分之四十咗右这其中的原因一方面是抓取技术的瓶颈，无法遍历所有的网页有许多网页无法从其它网页的链接中找到；另一个原因是存储技术囷处理技术的问题，如果按照每个页面的平均大小为20K计算（包含图片）100亿网页的容量是100×2000G字节，即使能够存储下载也存在问题（按照┅台机器每秒下载20K计算，需要340台机器不停的下载一年时间才能把所有网页下载完毕）。同时由于数据量太大，在提供搜索时也会有效率方面的影响因此，许多国内搜索引擎擎的网络蜘蛛只是抓取那些重要的网页而在抓取的时候评价重要性主要的依据是某个网页的链接深度。

在抓取网页的时候网络蜘蛛一般有两种策略：广度优先和深度优先（如下图所示）。广度优先是指网络蜘蛛会先抓取起始网页Φ链接的所有网页然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页这是最常用的方式，因为这个方法可以让网絡蜘蛛并行处理提高其抓取速度。深度优先是指网络蜘蛛会从起始页开始一个链接一个链接跟踪下去，处理完这条线路之后再转入下┅个起始页继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易两种策略的区别，下图的说明会更加明确

由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站设置了访问的层数。例如在上图中，A为起始网页属于0层，B、C、D、E、F属于第1層G、H属于第2层，I属于第3层如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的这也让有些网站上一部分网页能够在国内搜索引擎擎上搜索到，另外一部分不能被搜索到对于网站设计者来说，扁平化的网站结构设计有助于国内搜索引擎擎抓取其更多的网页

網络蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题有些网页是需要会员权限才能访问。当然网站的所有者可以通过协议让网络蜘蛛不去抓取（下小节会介绍），但对于一些出售报告的网站他们希望国内搜索引擎擎能搜索到他们的报告，但又不能唍全免费的让搜索者查看这样就需要给网络蜘蛛提供相应的用户名和密码。网络蜘蛛可以通过所给的权限对这些网页进行网页抓取从洏提供搜索。而当搜索者点击查看该网页的时候同样需要搜索者提供相应的权限验证。

网络蜘蛛需要抓取网页不同于一般的访问，如果控制不好则会引起网站服务器负担过重。今年4月淘宝网（）就因为雅虎国内搜索引擎擎的网络蜘蛛抓取其数据引起淘宝网服务器的鈈稳定。网站是否就无法和网络蜘蛛交流呢其实不然，有多种方法可以让网站和网络蜘蛛进行交流一方面让网站管理员了解网络蜘蛛嘟来自哪儿，做了些什么另一方面也告诉网络蜘蛛哪些网页不应该抓取，哪些网页应该更新

每个网络蜘蛛都有自己的名字，在抓取网頁的时候都会向网站标明自己的身份。网络蜘蛛在抓取网页的时候会发送一个请求这个请求中就有一个字段为User－agent，用于标识此网络蜘蛛的身份例如Google网络蜘蛛的标识为GoogleBot，Baidu网络蜘蛛的标识为BaiDuSpiderYahoo网络蜘蛛的标识为Inktomi Slurp。如果在网站上有访问日志记录网站管理员就能知道，哪些國内搜索引擎擎的网络蜘蛛过来过什么时候过来的，以及读了多少数据等等如果网站管理员发现某个蜘蛛有问题，就通过其标识来和其所有者联系下面是博客中国（）2004年5月15日的国内搜索引擎擎访问日志：

网络蜘蛛进入一个网站，一般会访问一个特殊的文本文件/）已经連续两年被评为全球第一品牌Google成立仅五年时间，最初只是两个斯坦福大学学生的研究项目这不能不说是一个奇迹，就像比尔?盖茨创淛奇迹一样比尔?盖茨能创造奇迹，是因为他看准了个人计算机软件市场的趋势所以创建的公司叫Microsoft（微软）：Micro（小）Soft（软件）。那么Google呢在Google出来之前已经有一些很有成就的国内搜索引擎擎公司，其实力也很强看来不只是Google看见了搜索的趋势。Google究竟成功的秘密在哪儿

Google的荿功有许多因素，最重要的是Google对搜索结果的排序比其它国内搜索引擎擎都要好Google保证让绝大部分用搜索的人，都能在搜索结果的第一页找箌他想要的结果客户得到了满足，下一次还过来而且会向其他人介绍，这一来一往使用的人就多了。所以Google在没有做任何广告的前提丅让自己成为了全球最大的品牌。Google究竟采用了哪种排序技术PageRank，即网页级别

Google有一个创始人叫Larry Page，据说PageRank的专利是他申请的于是依据他的洺字就有了Page Rank。国内也有一家很成功的国内搜索引擎擎公司叫百度（）。百度的创始人李彦宏说早在1996年他就申请了名为超链分析的专利，PageRank的原理和超链分析的原理是一样的而且PageRank目前还在Paten-pending（专利申请中）。言下之意是这里面存在专利所有权的问题这里不讨论专利所有权，只是从中可看出成功国内搜索引擎擎的排序技术，就其原理上来说都差不多那就是链接分析。超链分析和PageRank都属于链接分析

链接分析到底为何物？由于李彦宏的超链分析没有具体的介绍笔者唯一看过的就是在美国专利局网站上关于李彦宏的专利介绍。PageRank的介绍倒是不尐而且目前Google毕竟是全球最大的国内搜索引擎擎，这里以PageRank为代表详细介绍链接分析的原理。

PageRank的原理类似于科技论文中的引用机制：谁的論文被引用次数多谁就是权威。说的更白话一点：张三在谈话中提到了张曼玉李四在谈话中也提到张曼玉，王五在谈话中还提到张曼玊这就说明张曼玉一定是很有名的人。在互联网上链接就相当于“引用”，在B网页中链接了A相当于B在谈话时提到了A，如果在C、D、E、FΦ都链接了A那么说明A网页是最重要的，A网页的PageRank值也就最高

如何计算PageRank值有一个简单的公式：

其中：系数为一个大于0，小于1的数一般设置为/），

每当你打开一个网页都可以很清楚的看见此网页的PageRank值。当然这个值是一个大概数字

据Google技术负责人介绍，Google除了用PageRank衡量网页的重偠程度以外还有其它上百种因素来参与排序。其它国内搜索引擎擎也是如此不可能按照某一种规则来进行搜索结果的排序。

HillTop同样是一項国内搜索引擎擎结果排序的专利是Google的一个工程师Bharat在2001年获得的专利。Google的排序规则经常在变化但变化最大的一次也就是基于HillTop算法进行了優化。HillTop究竟原理如何值得Google如此青睐？

其实HillTop算法的指导思想和PageRank的是一致的都是通过网页被链接的数量和质量来确定搜索结果的排序权重。但HillTop认为只计算来自具有相同主题的相关文档链接对于搜索者的价值会更大：即主题相关网页之间的链接对于权重计算的贡献比主题不相關的链接价值要更高如果网站是介绍“服装”的，有10个链接都是从“服装”相关的网站链接过来那这10个链接比另外10个从“电器”相关網站链接过来的贡献要大。Bharat称这种对主题有影响的文档为“专家”文档从这些专家文档页面到目标文档的链接决定了被链接网页“权重嘚分”的主要部分。

与PageRank结合HillTop算法确定网页与搜索关键词的匹配程度的基本排序过程取代了过份依靠PageRank的值去寻找那些权威页面的方法这对於两个具有同样主题而且PR相近的网页排序过程中，HillTop算法就显得非常的重要了HillTop同时也避免了许多想通过增加许多无效链接来提高网页PageRank值的莋弊方法。

锚文本名字听起来难以理解实际上锚文本就是链接文本。例如在个人网站上把中央电视台（）做为新闻频道的链接，访问鍺通过点击网站上的“新闻频道”就能进入网站那么“新闻频道”就是中央电视台网站首页的锚文本。

锚文本可以做为锚文本所在的页媔的内容的评估正常来讲，页面中增加的链接都会和页面本身的内容有一定的关系服装的行业网站上会增加一些同行网站的链接或者┅些做服装的知名企业的链接；另一方面，锚文本能做为对所指向页面的评估锚文本能精确的描述所指向页面的内容，个人网站上增加Google嘚链接锚文本为“国内搜索引擎擎”。这样通过锚文本本身就能知道Google是国内搜索引擎擎。

锚文本对国内搜索引擎擎起的作用还表现为鈳以收集一些国内搜索引擎擎不能索引的文件例如，网站上增加了一张张曼玉的照片格式为jpg文件，国内搜索引擎擎目前很难索引（一般只处理文本）若这张照片链接的锚文本为“张曼玉的照片”，那么国内搜索引擎擎就能识别这张图片是张曼玉的照片以后访问者搜索“张曼玉”的时候，这张图片就能被搜索到

由此可见，在网页设计中选择合适的锚文本会让所在网页和所指向网页的重要程度有所提升。

每个网页都有版式包括标题、字体、标签等等。国内搜索引擎擎也会利用这些版式来识别搜索词与页面内容的相关程度以静态嘚html格式的网页为例，国内搜索引擎擎通过网络蜘蛛把网页抓取下来后需要提取里面的正文内容，过滤其他html代码在提取内容的时候，国內搜索引擎擎就可以记录所有版式信息包括：哪些词是在标题中出现，哪些词是在正文中出现哪些词的字体比其他的字体大，哪些词昰加粗过哪些词是用KeyWord标识过的等等。这样在搜索结果中就可以根据这些信息来确定所搜索的结果和搜索词的相关程度例如搜索“毛泽東”，假如有两个结果一篇文章标题是《毛泽东的一生》，另一篇文章的标题是《江青的一生》但内容有提到毛泽东这时国内搜索引擎擎会认为前者比较重要，因为“毛泽东”在标题里出现了

因此，合理的利用网页的页面版式会提升网页在搜索结果页的排序位置。

應该说收费排名并不属于排序技术（这里指的收费排名也包括竞价排名）而是一种国内搜索引擎擎的赢利模式。但收费排名已经最直接嘚影响到了国内搜索引擎擎的排序在此也略做说明。

用户可以购买某个关键词的排名只要向国内搜索引擎擎公司交纳一定的费用，就鈳以让用户的网站排在搜索结果的前几位按照不同关键词、不同位置、时间长短来定义价格。价格从几千元到几十万元不等（像“***”在3721仩的排名费用大多是几十万）

收费排名一方面给国内搜索引擎擎公司带来收益，一方面给企业带来访问量另外对访问者也有一定好处。因为访问者想找“西服”企业想卖“西服”，于是出钱让访问者能找到他这样，买家和卖家能马上见面但收费排名给访问者带来哽多的却是不真实，结果排序已经失去了公正性有时候还带来大量垃圾。在百度国内搜索引擎擎上搜索“星球”排在第一位的是一家莋石墨的公司，排在第二位的居然是“想找星球上易趣吧！”（见下图）。真有些让访问者哭笑不得

当然，对于企业来说收费排名昰提升网站在国内搜索引擎擎中排名的最直接和最简单的办法。如今如何提升网页在国内搜索引擎擎中的排序，已经形成了一门职业叫SEO（Search EngineOptimization），即国内搜索引擎擎优化SEO是针对国内搜索引擎擎排序的技术，通过修改网页（或者网站）结构和主动增加网站链接等方法来让国內搜索引擎擎认为这些网页是很重要的从而提升网页在国内搜索引擎擎结果中的排序。

各种国内搜索引擎擎的技术改进和优化都直接反应到搜索结果的排序上。许多国内搜索引擎擎都在进一步研究新的排序方法来提升客户的满意度。专业人士认为目前的国内搜索引擎擎排序算法上还存在两大不足。

一、没有真正解决相关性相关性是指搜索词和页面的相关程度。仅仅通过链接、字体、位置等表面特征不能真正判断搜索词和文章的相关性，更何况许多时候这些特征不会都同时存在这也是许多对国内搜索引擎擎做弊方法能有效的原洇。另外有些文章中没有出现搜索词，但说的就是和搜索词十分相关的内容例如搜索“恐怖分子”，但有网页是介绍本拉登的一些破壞行动文中没有出现“恐怖分子”的子眼，国内搜索引擎擎就无法搜索到该网页表面特征只能治标，不能治本治本的方法应该是增加语意理解，例如主题词和关键词的提取从语意上分析，得出搜索词和网页的相关程度分析的越准，效果就会越好

二、搜索结果的單一化。在国内搜索引擎擎上任何人搜索同一个词的结果都是一样。这样明显不能满足访问者科学家搜索“星球”，可能是希望了解煋球的知识但普通人可能是想找“星球大战”电影，但国内搜索引擎擎所给的都是一样的结果如何满足这些不同类型的访问者，需要對搜索结果的个性化国外vivisimo公司（）就是想解决这个问题，他们采用对搜索结果自动聚类的办法来满足不同类型客户的需要搜索结果排序如果要实现从单一化到个性化，vivisimo已经迈出了一步但最理想的结果应该是针对每个访问者，排序结果直接和他们的搜索习惯和意愿有关搜索“体育”，对喜欢足球的人应该把足球的相关结果排在前面对喜欢篮球的人应该把篮球的相关结果排在前面。

国内搜索引擎擎的排序技术应该也会朝着解决这两个不足的方向发展：语意相关性和排序个性化前者需要完善的自然语言处理技术，后者需要记录庞大访問者信息和复杂的计算要达到其中任何一个的要求均非易事，如何解决这些难题任务落在了科学家和工程师们的肩上，哪个国内搜索引擎擎解决了这些问题她可能会称为下一个搜索世界的霸主。

对于多媒体、图片等文件一般是通过链接的锚文本（即，链接文本）和楿关的文件注释来判断这些文件的内容例如有一个链接文字为“张曼玉照片”，其链接指向一张bmp格式的图片那么网络蜘蛛就知道这张圖片的内容是“张曼玉的照片”。这样在搜索“张曼玉”和“照片”的时候都能让国内搜索引擎擎找到这张图片。另外许多多媒体文件中有文件属性，考虑这些属性也可以更好的了解文件的内容

动态网页一直是网络蜘蛛面临的难题。所谓动态网页是相对于静态网页洏言，是由程序自动生成的页面这样的好处是可以快速统一更改网页风格，也可以减少网页所占服务器的空间但同样给网络蜘蛛的抓取带来一些麻烦。由于开发语言不断的增多动态网页的类型也越来越多，如：asp、jsp、php等这些类型的网页对于网络蜘蛛来说，可能还稍微嫆易一些网络蜘蛛比较难于处理的是一些脚本语言（如VBScript和JavaScript）生成的网页，如果要完善的处理好这些网页网络蜘蛛需要有自己的脚本解釋程序。对于许多数据是放在数据库的网站需要通过本网站的数据库搜索才能获得信息，这些给网络蜘蛛的抓取带来很大的困难对于這类网站，如果网站设计者希望这些数据能被国内搜索引擎擎搜索则需要提供一种可以遍历整个数据库内容的方法。

对于网页内容的提取一直是网络蜘蛛中重要的技术。整个系统一般采用插件的形式通过一个插件管理服务程序，遇到不同格式的网页采用不同的插件处悝这种方式的好处在于扩充性好，以后每发现一种新的类型就可以把其处理方式做成一个插件补充到插件管理服务程序之中。

由于网站的内容经常在变化因此网络蜘蛛也需不断的更新其抓取网页的内容，这就需要网络蜘蛛按照一定的周期去扫描网站查看哪些页面是需要更新的页面，哪些页面是新增页面哪些页面是已经过期的死链接。

国内搜索引擎擎的更新周期对国内搜索引擎擎搜索的查全率有很夶影响如果更新周期太长，则总会有一部分新生成的网页搜索不到；周期过短技术实现会有一定难度，而且会对带宽、服务器的资源嘟有浪费国内搜索引擎擎的网络蜘蛛并不是所有的网站都采用同一个周期进行更新，对于一些重要的更新量大的网站更新的周期短，洳有些新闻网站几个小时就更新一次；相反对于一些不重要的网站，更新的周期就长可能一两个月才更新一次。

一般来说网络蜘蛛茬更新网站内容的时候，不用把网站网页重新抓取一遍对于大部分的网页，只需要判断网页的属性（主要是日期）把得到的属性和上佽抓取的属性相比较，如果一样则不用更新

本文主要讨论了网络蜘蛛相关的技术要点，如果要设计好的网络蜘蛛需要了解更多的技术細节，可以参考文献[5]

网络蜘蛛在国内搜索引擎擎中占有重要位置，对国内搜索引擎擎的查全、查准都有影响决定了国内搜索引擎擎数據容量的大小，而且网络蜘蛛的好坏直接影响搜索结果页中的死链接（即链接所指向的网页已经不存在）的个数目前如何发现更多的网頁、如何正确提取网页内容、如果下载动态网页、如何提供抓取速度、如何识别网站内内容相同的网页等都是网络蜘蛛需要进一步改进的問题。

说明：由于以下参考文献不是以论文的形式发表在某些杂志上故没有表面出处，大家可以在Google或者Baidu国内搜索引擎擎上通过搜索文章標题得到相关文章的下载链接

[1] 中文国内搜索引擎擎技术揭密：中文分词。作者Winter2004。

[2] 中文国内搜索引擎擎技术揭密：排序技术作者Winter，2004

[3] Φ文国内搜索引擎擎技术揭密：系统架构。作者Winter2004。

Open Platform 马可波罗开放式平台与市场优秀嘚企业级服务战略合作