公司新闻

搜索引擎网站的工作原理是什么？

一、什么是搜索引擎？

搜索引擎是一个协助用户搜索他们需求内容的计算机程序。换一种说法，搜索引擎把计算机中存储的信息与用户的信息需求(information need)相匹配，并把匹配的结果展现出来。

举个例子：老王想卖肾买个iphone装逼，就查一下价钱。它在google的搜索框里输入了”iphone 6 售价“，点击搜索按钮。这里大黄的关键词“iphone 6 售价”就是他的信息需求。Google在展现出搜索结果的那零点几秒之间，它的程序在宏大的数据库里依照关键字停止了查找，终于计算出一切关于Iphone价钱的网页。

二、搜索引擎的分类

取得网站网页材料，可以树立数据库并提供查询的系统，我们都能够把它叫做搜索引擎。依照工作原理的不同，能够把它们分为两个根本类别：全文搜索引擎（FullText Search Engine）和分类目录Directory）。

全文搜索引擎的数据库是依托一个叫“网络机器人（Spider）”或叫“网络蜘蛛（crawlers）”的软件，经过网络上的各种链接自动获取大量网页信息内容，并按以定的规则剖析整理构成的。Google、百度都是比拟典型的全文搜索引擎系统。

分类目录则是经过人工的方式搜集整理网站材料构成数据库的，比方雅虎中国以及国内的搜狐、新浪、网易分类目录。另外，在网上的一些导航站点，也能够归属为原始的分类目录，比方“网址之家”。

全文搜索引擎和分类目录在运用上各有长短。全文搜索引擎由于依托软件停止，所以数据库的容量十分庞大，但是，它的查询结果常常不够精确；分类目录依托人工搜集和整理网站，可以提供更为精确的查询结果，但搜集的内容却十分有限。为了扬长避短，如今的很多搜索引擎，都同时提供这两类查询，普通对全文搜索引擎的查询称为搜索“一切网站”或“全部网站”，比方Google的全文搜索（https://www.google.com/intl/zh-CN/）；把对分类目录的查询称为搜索“分类目录”或搜索“分类网站”，比方新浪搜索和雅虎中国搜索（https://cn.search.yahoo.com/dirsrch/）。

在网上，对这两类搜索引擎停止整合，还产生了其它的搜索效劳，在这里，我们姑且也把它们称作搜索引擎，主要有这两类：

1、元搜索引擎(META Search Engine)

这类搜索引擎普通都没有本人网络机器人及数据库，它们的搜索结果是经过调用、控制和优化其它多个独立搜索引擎的搜索结果并以统一的格式在同一界面集中显现。元搜索引擎虽没有“网络机器人”或“网络蜘蛛”，也无独立的索引数据库，但在检索恳求提交、检索接口代理和检索结果显现等方面，均有本人研发的特征元搜索技术。比方“metaFisher元搜索引擎” （https://www.hsfz.net/fish/），它就调用和整合了Google、Yahoo、AlltheWeb、百度和OpenFind等多家搜索引擎的数据。

2、集成搜索引擎（All－in－One Search Page）

集成搜索引擎是经过网络技术，在一个网页上链接很多个独立搜索引擎，查询时，点选或指定搜索引擎，一次输入，多个搜索引擎同时查询，搜索结果由各搜索引擎分别以不同页面显现，比方“网际瑞士军刀”（https://free.okey.net/%7Efree/search1.htm）。

三、粗略说说搜索引擎的工作过程

全文搜索引擎的“网络机器人”或“网络蜘蛛”是一种网络上的软件，它遍历Web空间，可以扫描一定IP地址范围内的网站，并沿着网络上的链接从一个网页到另一个网页，从一个网站到另一个网站采集网页材料。它为保证采集的材料最新，还会回访已抓取过的网页。网络机器人或网络蜘蛛采集的网页，还要有其它程序停止剖析，依据一定的相关度算法停止大量的计算树立网页索引，才干添加到索引数据库中。我们平常看到的全文搜索引擎，实践上只是一个搜索引擎系统的检索界面，当你输入关键词停止查询时，搜索引擎会从庞大的数据库中找到契合该关键词的一切相关网页的索引，并按一定的排名规则呈现给我们。不同的搜索引擎，网页索引数据库不同，排名规则也不尽相同，所以，当我们以同一关键词用不同的搜索引擎查询时，搜索结果也就不尽相同。

和全文搜索引擎一样，分类目录的整个工作过程也同样分为搜集信息、剖析信息和查询信息三局部，只不过火类目录的搜集、剖析信息两局部主要依托人工完成。分类目录普通都有特地的编辑人员，担任搜集网站的信息。随着收录站点的增加，如今普通都是由站点管理者递交本人的网站信息给分类目录，然后由分类目录的编辑人员审核递交的网站，以决议能否收录该站点。假如该站点审核经过，分类目录的编辑人员还需求剖析该站点的内容，并将该站点放在相应的类别和目录中。一切这些收录的站点同样被寄存在一个“索引数据库”中。用户在查询信息时，能够选择依照关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟全文搜索引擎一样，也是依据信息关联水平排列网站。需求留意的是，分类目录的关键词查询只能在网站的称号、网址、简介等内容中停止，它的查询结果也只是被收录网站首页的URL地址，而不是详细的页面。分类目录就像一个电话号码薄一样，依照各个网站的性质，把其网址分门别类排在一同，大类下面套着小类，不断到各个网站的细致地址，普通还会提供各个网站的内容简介，用户不运用关键词也可停止查询，只需找到相关目录，就完整能够找到相关的网站（留意：是相关的网站，而不是这个网站上某个网页的内容，某一目录中网站的排名普通是依照标题字母的先后次第或者收录的时间次第决议的）。

搜索引擎并不真正搜索互联网，它搜索的实践上是预先整理好的网页索引数据库。

真正意义上的搜索引擎，通常指的是搜集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）停止索引，树立索引数据库的全文搜索引擎。当用户查找某个关键词的时分，一切在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法停止排序后，这些结果将依照与搜索关键词的相关度上下，依次排列。

如今的搜索引擎已普遍运用超链剖析技术，除了剖析索引网页自身的内容，还剖析索引一切指向该网页的链接的URL、AnchorText、以至链接四周的文字。所以，有时分，即便某个网页A中并没有某个词比方“恶魔撒旦”，但假如有别的网页B用链接“恶魔撒旦”指向这个网页A，那么用户搜索“恶魔撒旦”时也能找到网页A。而且，假如有越多网页（C、D、E、F……）用名为“恶魔撒旦”的链接指向这个网页A，或者给出这个链接的源网页（B、C、D、E、F……）越优秀，那么网页A在用户搜索“恶魔撒旦”时也会被以为更相关，排序也会越靠前。

四、搜索引擎的工作原理

1、网络爬虫

互联网上的信息存储在无数个效劳器上，任何搜索引擎要想答复用户的搜索，首先要把网页存在本人本地的效劳器上，这靠的就是网络爬虫。它不停的向各种网站发送恳求，将所得到的网页存储起来。那么它怎样晓得往哪发送恳求呢？通常的做法是应用网页之间的链接从一个网页动身，提取出指向其他页面的链接，把它们当成将下次要恳求的对象，不停反复这个过程。有很多细节要被思索。比方防止循环链接的网页；解析网页文档（通常是html格式，但也有很多其他格式）提取里边的链接；当链接无法翻开时对错误停止处置等。

其次，如何高效的爬取数据也是一个很大的应战。比方需求有成千上万个爬虫程序同时爬取数据，高效的将数据存储起来以便之后剖析等。这种散布式程序的完成是一个相当大的工程。

出于平安等要素思索，很多网络效劳器都有反歹意爬虫的功用。虽然他们所采取战略各不相同，共同点是他们目的就是尽量只响应真人用户的恳求。但搜索引擎爬虫通常不需求担忧这一点，由于大局部网站都希望进步本人的搜索排名，欢送搜索引擎爬虫到访。通常Google等搜索引擎都和网站之间有商定，比方在网页上加个特殊标签，通知爬虫这个网页是什么类型，包含什么信息等，以便协助爬虫更好的获取该网页内容。

好了，简直整个互联网的内容都被Google的爬虫取得了。Google怎样帮大黄找到卖iphone 6的网页呢？就是下面将要讲到的索引。

2、索引

互联网上的数据千千万万，大海捞针的搜索怎样就这么快？难道Google创造了什么逆天科技吗？其实不是。这都要归功于搜索引擎的索引了。

假如要你在一本书里找一个关键词，应该怎样找？假定有充足的时间，最暴力的办法就是从头到尾看一遍，最后总能找到关键词所在的位置。不过这是不是太费事了？有更好的办法吗？

有。索引就是协助程序停止快速查找的。大家都用过新华字典。字典前边的依照偏旁部首查字的局部就是索引。搜索引擎也一样。这里要引见第一个最重要的数据构造：反转列表（inverted list）。

搜索引擎所具有的文档中呈现的每一个单词都具有一个反转列表。它记载了这个单词在几文档中呈现，分别是哪些文档，每个文档分部呈现几次，分别呈现在什么位置等信息。比方Apple这个词呈现在文档1，7，19，34，102。其中文档1中呈现了3次，分别在位置20，105，700。这样当搜索Apple时，Goolge就不用遍历一切的文档，只需求查找每个单词对应的反转列表就能够晓得这个词在哪里呈现了。每一个网络文档不只只要文本信息。它还可能包括URL, 文件名，援用等局部。为了进步搜索质量，搜索引擎需求对文档的不同局部分别处置，结构反转列表。每一局部的单词都要被参加到这个词属于此局部的反转列表里。

索引除了反转列表还包含了很多各种数据构造。比方维护文档ID到实践文档的Document Manager，存储每个单词属性信息的Term Dictionary，存储文档属性的数据构造等等。

创立索引是个宏大工程。首先是对文档停止解析和处置。互联网上的文档格式各种各样，对每一种格式的文档都要有一个对应的解析器程序，这样才干疏忽各种奇异符号，提取出有用内容。每一个解析器的完成都是一个繁琐且艰难的任务。关于解析后的洁净文档，许多重要的自然言语处置算法就要派上用场。以英语为例，需求停止分词（tokenzation，将一句话分割成一个个单词），词干提取（stemming， 将文本中呈现的单词复原成它的原型），part-of-speech tagging（辨认单词在一句话中的词性），创立n-gram模型等操作。由于此文为目的是扫盲，就不深化解说每个操作了。此外还需求辨认文档中的命名实体(named entity)，比方将“iphone 6”作为一个词，而不是 “iphone” 一个， “6” 一个。上述操作生成的信息都要存储下来。这样结构反转列表时就能够晓得每个单词呈现的位置，呈现个数等信息。

索引生成程序的一个设计目的就是高效。因而它被尽可能地运转在多个机器上。关于每个机器来说，索引程序一边扫描输入文档，一边在内存中更新索引的数据构造。当内存中得数据大小超越一定阀值时，这些内容被作为一个块(block)一次性写入硬盘文件中。当一切文档扫描完毕后这些块会再被兼并成一个大的反转文件(Inverted file)。由于每一个块都是排好序的，兼并操作是线性的复杂度。由于数据量太大，Google为了快速处置，创造了 MapReduce。它如今是一个应用十分普遍的散布式计算框架。MapReduce把一个大的任务分割成许多小任务，并下发给多个Mapper程序，Mapper计算好的中间结果会发给多个Reducer程序继续处置，得到最终结果。这个计算模型允许成千上万台机器同时运算，从而极大进步了运算效率。

反转文件要和访问机制(access mechanism)一同能够工作。访问机制定义了如何经过一个单词找到它所对应的反转列表。大约能够运用两种数据构造：b-tree 或 Hash table。

为了进步效率，索引中的单词和文档都用整形的ID表示而不是字符串。单词ID和字符串的映射由Term Dictionary维护，它还存储了关于此单词一些其他信息，比方在几文件中呈现(document frequency)，在文档中呈现概率(inverse document frequency = total document count／document frequency)。这些信息在搜索排序中会提供关键信息。

互联网内容是不停变化的，这必然招致索引不停被更新。但是树立好的索引中，各个单词的反转列表是严密的拼接在一同的，这使得更新变得十分艰难。通常搜索引擎会积累一批文件后才停止索引的更改，并且把索引分红静态和动态两个局部。程序把一切更改都写入动态局部，并且周期性地将动态局部兼并进静态局部中。搜索时，动态和静态局部都会被访问。当从索引中删除一个文档时，这个文档中呈现的词对应的反转列表都会被修正，开支极大。于是程序参加了“删除列表（delete lists）”来记载一切被删除的文档。搜索时会查询删除列表来把曾经被删除的文档从搜索结果中移除。当删除列表足够大，渣滓回收机制会被触发，重重生成索引。

3、搜索

有了索引，就能够快速找到所需内容了。前边说过搜索引擎依据用户的信息需求查找匹配的内容。信息需求来自于用户输入。如何了解它有很大学问。简单的说，大黄的搜索词“iphone 6 售价”会被解析成一个树形构造：叶子节点就是一个个关键词，非叶子结点是搜索引擎本人定义的查询运算符（query operator）。比方大黄的输入能够被解析成 AND(TERM(iphone 6)，TERM(售价) )

这里要说第到二个重要的数据构造：分数列表（score list）。每个单词同样对应一个。它记载这个单词所呈现的文档具有的分数。为便当计算，分数通常是一个大于零小于一的浮点数。在后边引见结果排序时会讲如何给文档打分。

在停止搜索时，TERM运算符查询出每一个单词对应的反转列表；AND运算符将每个反转列表转换成分数列表，并且关于每个分数列表中的文档id汇合停止求交集操作，结果是一个新的分数列表，每个文档对应的分数是该文档在各个输入的分数列表中分数的乘积。

除了AND, TERM运算符，搜索引擎普通还会定义许多其他运算符，比方OR用来对文档汇合求并集操作； NEAR(term1, term2)用来查找一切term1 和 term2 相邻的文档, WINDOW(5, term1, term2)用来查找term1 和 term2 相隔不超越5个单词的文档，WEIGHTED_SUM运算符来对分数停止加权和操作等。如何定义搜索运算符取决于不同的搜索引擎。

搜索引擎用把用户输入的搜索字符停止一些相似于创立索引时对文本的处置（tokenization, stemming, stopword removal, entity recognition），然后生成解析树。这个过程运用了各种技巧，常见的有： multiple representation model： 即一个文档的标题， URL，主体等局部被分别处置。比方大黄的搜索会被转换成：

AND( WEIGHTED_SUM(0.1, URL(iphone 6), 0.2, TITLE(iphone 6), 0.7, BODY(iphone 6)), WEIGHTED_SUM(0.1, URL(售价), 0.2, TITLE(售价), 0.7, BODY(售价)) )

或者

WEIGHTED_SUM( 0.1, AND(URL(iphone 6), URL(售价)), 0.2, AND(TITLE(iphone 6), TITLE(售价)), 0.7, BODY(iphone 6), BODY(售价)), )

Sequential Dependency Model：将搜索词依照以下三个不同办法生成解析树，最后把他们加权求和。三个办法分别是：

bag of words 匹配，即 AND(“iphone 6”， 售价); N-gram 匹配，即 NEAR(“Iphone 6”， 售价) 短窗口匹配，即 WINDOW(8, “iphone 6”, 售价)

最后加权求和：

WEIGHTED_SUM(0.7, AND(“iphone 6”， 售价), 0.2, NEAR(“Iphone 6”， 售价), 0.1 WINDOW(8, “iphone 6”, 售价) )

也能够把以上两种办法生成的解析树再停止加权求和来生成最终结果。

搜索引擎也可能会依据查询的类型选择不同的办法生成解析树。详细如何解析是没有定论的，加权操作中每局部的权重也没有定论。这需求依据历史数据做大量实验最终肯定参数。总之，以上技巧最终目的是协助搜索引擎更好了解用户的信息需求，以便查找出更高质量的文档。

4、排序

到这儿终于该说搜索引擎怎样给文档打分了。依据Google的论文Brin & Page, WWW 1998，他们计算文档最终分数是：

其中就是文档doc关于搜索词query的信息检索得分，是该文档的 PageRank得分。在论文里他们没有说函数f是如何完成的。

5、信息检索得分（Information Retrieval Score）

假定互联网里的一切网页都包含有用的信息，且它们之间没有援用，这时打分独一的根据就是这篇文章能否和查询相关。信息检索得分就是这种相关性的权衡。

有很多理论来计算IRscore。比方向量空间（Vector space retrieval model），概率理论（Probabilistic retrieval models），或统计言语模型（Statistical language models）等。这里不细说详细每个理论是怎样回事。关键要记住的是，它们的公式都和一个简单算法的公式十分接近。那就是tf-idf （term frequency–inverse document frequency）。

每个单词－文档组合都有一个tf-idf值。tf 表示此文档中这个单词呈现的次数；df表示含有这个单词的文档的数量。通常假如一个单词在文档中呈现次数越多阐明这个文档与这个单词相关性越大。但是有的单词太常用了，比方英文里“the”，“a”，或者中文里“这里”，“就是”等，在任何一个文档中都会大量呈现。idf表示一个文档含有此单词的概率的倒数，就是用来消弭常用词干扰的。假如一个词在越多的文档中呈现，阐明这个词关于某一个文档的重要性就越低。算法的公式是：

搜索引擎假如只思索tfidf分数，会十分容易被诈骗。由于tfidf只思索网页和搜索词之前的相关性，而不思索网页自身的内容质量。比方老中医能够在本人的网页上堆满治疗X病的关键词，这样当有人搜索相关内容时tfidf就会给出高分。PageRank就是特地祢补这个缺陷的。

6、PageRank 分数

PageRank是Google开创人Larry Page 和 Sergey Brin 当年在斯坦福读博期间搞出来的一个算法。凭仗此算法他们创建Google，迎娶白富美走向人生巅峰的故事早已成为佳话。它的作用就是对网页的重要性打分。假定有网页A和B，A有链接指向B。假如A是一个重要网页，B的重要性也被提升。这种机制牢靠的惩罚了没有被别的链接指向的狡诈网站。

扩展：

以下内容触及数学学问，不感兴味能够跳过。

五、总结

搜索引擎的原理，能够看做三步：从互联网上抓取网页→树立索引数据库→在索引数据库中搜索排序。

1、从互联网上抓取网页

应用可以从互联网上自动搜集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的一切URL爬到其它网页，反复这过程，并把爬过的一切网页搜集回来。

2、树立索引数据库

由剖析索引系统程序对搜集回来的网页停止剖析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），依据一定的相关度算法停止大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息树立网页索引数据库。

3、在索引数据库中搜索排序

当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到契合该关键词的一切相关网页。由于一切相关网页针对该关键词的相关度早已算好，所以只需依照现成的相关度数值排序，相关度越高，排名越靠前。 最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。

结语

搜索引擎的Spider普通要定期重新访问一切网页（各搜索引擎的周期不同，可能是几天、几周或几月，也可能对不同重要性的网页有不同的更新频率），更新网页索引数据库，以反映出网页内容的更新状况，增加新的网页信息，去除死链接，并依据网页内容和链接关系的变化重新排序。这样，网页的详细内容和变化状况就会反映到用户查询的结果中。

互联网固然只要一个，但各搜索引擎的才能和偏好不同，所以抓取的网页各不相同，排序算法也各不相同。大型搜索引擎的数据库贮存了互联网上几亿至几十亿的网页索引，数据量到达几千G以至几万G。但即便最大的搜索引擎树立超越二十亿网页的索引数据库，也只能占到互联网上普通网页的不到30%，不同搜索引擎之间的网页数据堆叠率普通在70%以下。我们运用不同搜索引擎的重要缘由，就是由于它们能分别搜索到不同的内容。而互联网上有更大量的内容，是搜索引擎无法抓取索引的，也是我们无法用搜索引擎搜索到的。

你心里应该有这个概念：搜索引擎只能搜到它网页索引数据库里贮存的内容，假如搜索引擎的网页索引数据库里应该有而你没有搜出来，那是你的才能问题，学习搜索技巧能够大幅度进步你的搜索才能。

搜索引擎是各种深邃的算法和复杂的系统完成的圆满分离，每一局部都在系统里起到关键作用。写到这里，还有很多内容没有提及。比方搜索引擎如何评价搜索结果好坏，如何停止个性化搜索，如何停止分类搜索等。以后有时机再分别总结。