搜索引擎蜘蛛原理深入剖析
搜索引擎好比總司令，蜘蛛就是他的手下。蜘蛛也分等級(jí)，我們就簡(jiǎn)單分成3個(gè)等級(jí)，初級(jí)蜘蛛(普通士兵)，中級(jí)蜘蛛(普通軍官)，高級(jí)蜘蛛(高級(jí)軍官)。
我們一直認(rèn)為搜索引擎蜘蛛很神秘，其實(shí)很簡(jiǎn)單，其原理是。它就相當(dāng)一個(gè)我們有經(jīng)常用到的采集器，能抓取到你網(wǎng)站的頁(yè)面，將你網(wǎng)站頁(yè)面的內(nèi)容放入自己的數(shù)據(jù)庫(kù)，將采集到的結(jié)果與數(shù)據(jù)庫(kù)原有的信息一一進(jìn)行匹配，從而判斷你文章的原創(chuàng)度。這個(gè)過(guò)程相當(dāng)復(fù)雜，龐大，需要有非常強(qiáng)大的服務(wù)器。我們把文章分成5個(gè)等級(jí)，人氣高度的原創(chuàng)文章等級(jí)為5，一般原創(chuàng)文章等級(jí)為4，高度偽原創(chuàng)等級(jí)為3，依次類(lèi)推。搜索引擎就將對(duì)應(yīng)的文章放入對(duì)應(yīng)的位置，人氣高度的原創(chuàng)文章給予的權(quán)重是最高的，從而會(huì)給你這個(gè)文章的頁(yè)面帶來(lái)排名(當(dāng)然還要經(jīng)過(guò)一些簡(jiǎn)單的優(yōu)化，比如做四處一詞等)。
搜索引擎整個(gè)工作原理就這么簡(jiǎn)單，那么蜘蛛如果才能來(lái)到你的頁(yè)面呢。前面提到過(guò)，蜘蛛分成3個(gè)等級(jí)，權(quán)重高的網(wǎng)站，由高級(jí)蜘蛛去負(fù)責(zé)，這些網(wǎng)站高級(jí)蜘蛛來(lái)的最勤快，所以給與這些網(wǎng)站的帖子和簽名權(quán)重高于一般的普通論壇，高級(jí)蜘蛛有秒收的權(quán)利，所以這就是為什么這些論壇的高質(zhì)量帖子都能秒收。中級(jí)蜘蛛，中級(jí)蜘蛛通過(guò)你的外鏈或友情鏈接等來(lái)到你的網(wǎng)站，抓取你網(wǎng)站的內(nèi)容，然后按照上訴的文章的等級(jí)進(jìn)行劃分，放入相對(duì)應(yīng)的數(shù)據(jù)庫(kù)，從而在決定收不收錄，這個(gè)需要一定時(shí)間，所以為什么有的站長(zhǎng)網(wǎng)站收錄和快照有多有少，有快有慢。初級(jí)蜘蛛，這類(lèi)型的蜘蛛基本上都是打醬油的，主要任務(wù)是負(fù)責(zé)新站，負(fù)責(zé)新站文章的采集，所以這就是為什么新站收錄需要時(shí)間，因?yàn)樗鼘?duì)你有個(gè)觀(guān)察期。它得逐級(jí)的向上匯報(bào)，直到總司令搜索引擎點(diǎn)頭同意，在收錄你網(wǎng)站。
TAG:
|
評(píng)論加載中...
|
