1、網(wǎng)站和頁(yè)面權(quán)重。質(zhì)量高，資格老的網(wǎng)站被認(rèn)為權(quán)重比較高，這種網(wǎng)站上的頁(yè)面被爬行的深度也會(huì)比較高，所以會(huì)更多內(nèi)頁(yè)被收錄。
2、與首頁(yè)點(diǎn)擊距離。一般來(lái)說(shuō)網(wǎng)站上權(quán)重最高的是首頁(yè)，大部分外部鏈接是指向首頁(yè)的，蜘蛛訪問(wèn)最頻繁的也是首頁(yè)。離首頁(yè)點(diǎn)擊距離近，頁(yè)面權(quán)重越高，被蜘蛛爬行的機(jī)會(huì)也越大。
3、導(dǎo)入鏈接。無(wú)論是外部鏈接還是同一個(gè)網(wǎng)站的內(nèi)部鏈接，要被蜘蛛抓取，就必須有導(dǎo)入鏈接進(jìn)入頁(yè)面，否則蜘蛛根本沒(méi)有機(jī)會(huì)知道頁(yè)面的存在。高質(zhì)量的導(dǎo)入鏈接也經(jīng)常使頁(yè)面上導(dǎo)出鏈接被爬行深度增加。
4、頁(yè)面更新度。蜘蛛每次爬行都會(huì)把頁(yè)面數(shù)據(jù)儲(chǔ)存起來(lái)。如果第二次爬行發(fā)現(xiàn)頁(yè)面與第一次收錄的完全一樣，說(shuō)明頁(yè)面沒(méi)有更新，蜘蛛也就沒(méi)有必要經(jīng)常抓取。如果頁(yè)面內(nèi)容經(jīng)常更新，蜘蛛就會(huì)更加頻繁地訪問(wèn)這種頁(yè)面，頁(yè)面上出現(xiàn)的新連接，也自然會(huì)被蜘蛛更塊地跟蹤，抓取頁(yè)面。
