編輯“搜索引擎如何索引收錄網(wǎng)頁(yè)”（章節(jié)）

==網(wǎng)頁(yè)的索引與收錄==
接下來(lái)才進(jìn)入真正的索引與收錄網(wǎng)頁(yè)過(guò)程。從上面的介紹可以看出，F(xiàn)reshBot提交的url列表是相當(dāng)龐大的，根據(jù)語(yǔ)言、網(wǎng)站位置等不同，對(duì)特定網(wǎng)站的索引工作將分配至不同的數(shù)據(jù)中心完成。整個(gè)索引過(guò)程，由于龐大的數(shù)據(jù)量，可能需要幾周甚至更長(zhǎng)時(shí)間才能完成。

正如上文所言，DeepBot會(huì)首先索引優(yōu)先級(jí)較高的網(wǎng)站/網(wǎng)頁(yè)，優(yōu)先級(jí)越高，出現(xiàn)在Google索引數(shù)據(jù)庫(kù)及至最終出現(xiàn)在Google搜索結(jié)果頁(yè)面中的速度便越快。對(duì)新建網(wǎng)頁(yè)而言，只要進(jìn)入到這個(gè)階段，即使整個(gè)索引過(guò)程沒(méi)有完成，相應(yīng)的網(wǎng)頁(yè)便已具備出現(xiàn)在Google索引庫(kù)中的可能，相信許多朋友在Google中使用“site:somedomain.com”搜索時(shí)常?？吹綐?biāo)注為補(bǔ)充結(jié)果只顯示網(wǎng)頁(yè)url或只顯示網(wǎng)頁(yè)標(biāo)題與url但沒(méi)有描述的頁(yè)面，此即是處于這一階段網(wǎng)頁(yè)的正常結(jié)果。當(dāng)Google真正讀取、分析、緩存了這個(gè)頁(yè)面后，其便會(huì)從補(bǔ)充結(jié)果中逃出而顯示正常的信息?！?dāng)然，前提是該網(wǎng)頁(yè)具有足夠的鏈接，特別是來(lái)自權(quán)威網(wǎng)站的鏈接，并且，索引庫(kù)中沒(méi)有與該網(wǎng)頁(yè)內(nèi)容相同或近似的記錄(Duplicate Content過(guò)濾)。

對(duì)動(dòng)態(tài)url而言，雖然如今Google宣稱在對(duì)其處理方面已不存在障礙，不過(guò)，可以觀察到的事實(shí)仍然顯示動(dòng)態(tài)url出現(xiàn)在補(bǔ)充結(jié)果中的幾率遠(yuǎn)大于使用靜態(tài)url的網(wǎng)頁(yè)，往往需要更多、更有價(jià)值的鏈接才能從補(bǔ)充結(jié)果中逸出。

而對(duì)于上文中之“F”類，即未更新的網(wǎng)頁(yè)，DeepBot會(huì)將其時(shí)間戳與Google索引數(shù)據(jù)庫(kù)中的日期比對(duì)，確認(rèn)盡管可能搜索結(jié)果中相應(yīng)頁(yè)面信息未來(lái)得及更新但只要索引了最新版本即可——考慮網(wǎng)頁(yè)多次更新、修改的情況——；至于“G”類即404 url，則會(huì)查找索引庫(kù)中是否存在相應(yīng)的記錄，如果有，將其刪除。