什么是搜索引擎蜘蛛？

什么是搜索引擎蜘蛛？它的概念含义是什么？它有哪些分类？抓取策略是什么？

什么是搜索引擎蜘蛛

搜索引擎蜘蛛的概念：

搜索引擎蜘蛛英文名字叫Spider，它并不是真正意义上的蜘蛛，它只是搜索引擎指派出的一个有调度机制的抓取程序，用于抓取互联网中的网页，根据搜索引擎的不同，spider也会有不同的分类，但是大部分的spider都是解决相同的问题，有着相同的工作原理。

搜索引擎蜘蛛Spider的分类 ：

1、批量型spider，此类型的spider具有明确的抓取范围和目标，抓取时间、抓取数量限制，或抓取固定范围页面的限制，当spider的工作达到预先设置的目标就会停止，我们一般自己用工具或程序采集的工具，所派出的spider一般就属于批量型的spider,只抓取固定网站的固定内容，或者对某一资源设置固定的目标抓取数量限制。

2、垂直型搜索引擎蜘蛛spider，垂直spider也可以称为聚焦爬虫，只对特定主题、特定内容或特定行业的网页进行抓取，一般都会聚焦在某一个限制范围内进行增量的抓取，此类型的spider不像增量型spider一样追求大而广的覆盖面，而是在增量型spider上增加一个抓取网页的限制，根据需求抓取含有目标内容的网页。

3、增量型搜索引擎蜘蛛spider是一种比较通用的爬虫，这类爬虫的目标和批量型spider的目标不同，它们不需要尽可能的抓取更多的网页，增量型spider主要工作是对已经抓取到的页面进行再次的抓取和更新，因为互联网中的网页是不断变化的，网页上的内容可能会随着时间发生随时发生改变，增量型spider就负责抓取不断被更改更新的网页，抓取后并返回给搜索引擎的预处理系统进行处理，重新计算该页面的权值。

搜索引擎蜘蛛Spider抓取网页的策略

搜索引擎把蜘蛛分为这么多的类型，每个类型的spider都有它们各自的作用，如何协调这些spider进行协同工作，就需要搜索引擎有强大的spider抓取策略，因为互联网中的网页是无穷无尽的，每天都会产生数以百万的网页，优秀搜索引擎的抓取策略也决定了它是否能为用户提供高效的查询服务。

1、搜索引擎会把网页进行分类抓取，分为已抓取页面、待抓取页面、可抓取页面、暗网页面、这些页面是搜索引擎抓取网页和存储的基本方式。

2、搜索引擎在面对不同类型网站的时候，会使用不同的抓取策略机制，常见的深度优先策略、广度优先策略，这些策略的实施和抓取都是通过搜索引擎的调度机制来控制的。

3、深度优先即沿着当前网页被优先发现的链接一直顺着抓取下去，直到该链接页面没有其它页面的链接，spider才会再次返回来抓取原来第一批发现页面上的另外一个链接，依次这样抓取循环下去。

4、广度优先的策略一般在新站上的体现比较明显，搜索引擎蜘蛛在一个页面上发现多个链接时，会先把该页面抓取一遍，然后再抓从这些页面上提取下来的链接，把链接放入到待抓取URL列表，在返回抓取原页面上的其它链接页面，重复上述步骤先抓取当前页面的全部链接，放入到待抓取URL列表，依次这样持续循环抓取下去。

国内各大搜索引擎蜘蛛名称：