在上文中我们为大伙解说了SEO课程中搜索引擎蜘蛛的分类，下面，悦哥SEO我们为大伙介绍搜索引擎蜘蛛的抓取方法。
对于搜索引擎来讲,要抓取网络上所有些网页几乎是不可能的。从现在公布的数据来看,容量最大的搜索引擎也不过抓取了整个网络网页数目的40%左右。其中是什么原因,一方面是抓取技术的瓶颈,没办法遍历所有些网页,很多网页没办法从其他网页的链接中找到;其次是存储技术和处置技术的问题。假如根据每一个页面20KB计算(包括图片),100亿个网页的容量是100×2000GB。即便可以存储,下载也存在问题(根据一台机器每秒下载20KB计算,需要240台机器不停地下载一年,才能把所有网页下载完毕)。
同时,因为数据量太大,在提供搜索时也会有效率方面的影响。因此,很多搜索引擎的蜘蛛程序只抓取那些要紧的网页,而在抓取时主要依据某个网页的链接深度来评价其重要程度。
在抓取阙页的时候,搜索引擎蜘蛛通常有两种方案,分别是广度优先和深度优先,如图1所示。广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页,然后选择其中的一个链接网页,继续抓取在此网页中链接的所有网页。这是最常见的办法,由于这个办法可以让搜索引擎蜘蛛并行处置,以提升其抓取速度。深度优先是指搜索引擎蜘蛛会从起始页开始,一个链接一个链接跟踪下去,处置完条线路之后再转入下一个起始页,继续跟踪链接。这个办法有个优点是搜索引擎蜘蛛的设计比较简单。
因为不可能抓取所有些网页,所以有的搜索引擎蜘蛛对一些不太要紧的网站设置了访问的层数。如图1所示,A为起始网页,是第0层,B、C、D、E、F是第1层,G、H是第2层,I是第3层。假如搜索引擎蜘蛛设置的访问层数为2,网页I将不会被访问。这也致使有的网站的一部分网页可以在搜索引擎上搜索到,而另外一部分没办法搜索到。对于网站建设者来讲,扁平化的网站架构设计能够帮助搜索引擎抓取其更多的网页。
搜索引擎蜘蛛在访问网站网页的时候,常常会遇见加密数据和网页权限的问题,有的网页是需要会员权限才能访问的。当然,网站的所有者可以通过协议让搜索引擎蜘蛛不去抓取,但对于一些供应报告的网站,它们期望搜索引擎能搜索到它们的报告,但又不想让搜索者完全免费地查询,如此就需要给搜索引擎蜘蛛提供相应的用户名和密码。搜索引擎蜘蛛可以通过所给的权限对这类网页进行抓取,从而提供搜索。而当搜索者查询该网页的时候,同样需要进行相应的权限验证。
以上就是本次我们为大伙推荐的关于SEO课程中搜索引擎蜘蛛的抓取方法的内容，本文主要内容源自互联网，由我们整理发布，如有侵权请联系本网站，谢谢!
本文标题SEO中搜索引擎蜘蛛的抓取方法
