我的網(wǎng)站顯示的蜘蛛抓取,有好多動(dòng)態(tài)鏈接是否有影響?是否需要處理。該如何處理?
如果不是自己網(wǎng)站本身實(shí)際存在的url,很可能是網(wǎng)站由于被人刷,導(dǎo)致的。
對(duì)應(yīng)這些動(dòng)態(tài)鏈接,可以在robots文件中,寫(xiě)一個(gè)屏蔽抓取動(dòng)態(tài)鏈接的語(yǔ)法。
User-agent: * Disallow: /*?*
更詳細(xì)的robots設(shè)置方法,可以看下面鏈接課程