我robots這樣寫是不是就能避免蜘蛛爬這個(gè)“index.htm”這個(gè)首頁(yè)？
User-agent: * Disallow: /index.htm
我的index.htm是現(xiàn)在默認(rèn)的首頁(yè)，想屏蔽蜘蛛抓取。讓蜘蛛爬另一個(gè)文檔，主要是規(guī)避備案巡查
我的網(wǎng)站和我備案的不一樣，服務(wù)器那邊要求改，我就整了個(gè)htm文檔來規(guī)避下。
寫法沒有問題。但正常的不建議屏蔽首頁(yè)地址，，“index.htm”這個(gè)后綴地址是需要處理掉的。
當(dāng)然，如果只是應(yīng)付備案短暫需求，，就只能這樣處理。
后續(xù)備案處理后，盡快處理后綴“index.htm”。同時(shí)robots修改回去。
本文由夫唯SEO特訓(xùn)營(yíng)編輯整理。
搜外專注SEO培訓(xùn)和SEO周邊Saas服務(wù)解決方案，10年來超過五萬學(xué)員在此獲得技術(shù)提升和人脈圈子。
SEO課程包含移動(dòng)搜索、零基礎(chǔ)建站、群站SEO思維、搜外6系統(tǒng)、SEM入門等。
192期A班報(bào)名時(shí)間7月1日-7月15日，請(qǐng)?zhí)砑诱猩头∧⑿牛簊eowhy2021。
微信掃碼添加客服人員
我們的目標(biāo)是：讓非技術(shù)人員輕松學(xué)會(huì)互聯(lián)網(wǎng)技術(shù)。
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
SEO技術(shù)實(shí)戰(zhàn)微信群
微信掃碼添加客服人員
大站流量總監(jiān)群(審核身份）
微信掃碼添加客服人員
Google獨(dú)立站英文SEO群
微信掃碼添加客服人員
SEO團(tuán)隊(duì)KPI管理表格
微信掃碼添加客服人員
工業(yè)品網(wǎng)站友情鏈接群
微信掃碼添加客服人員
本地生活服務(wù)業(yè)友鏈群
微信掃碼添加客服人員
