網(wǎng)站SEO優(yōu)化中Robots是什么意思，Robots.txt文件怎么寫(xiě)
2020-02-04 21:12:56
Robots在網(wǎng)站SEO優(yōu)化工作中，是比較重要的一個(gè)環(huán)節(jié)，特別是當(dāng)你的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容的時(shí)候，Robots.txt文件能告訴蜘蛛哪些可以抓取，哪些不能抓取。很多新手和站長(zhǎng)朋友對(duì)Robots不是很了解，今天，網(wǎng)站SEO優(yōu)化—梓琳SEO為大家分享的是：網(wǎng)站SEO優(yōu)化中Robots是什么意思，Robots.txt文件怎么寫(xiě)
Robots是什么意思
網(wǎng)站SEO優(yōu)化中Robots是什么意思，Robots . txt的定義
Robots . txt又稱(chēng)爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等。簡(jiǎn)單的來(lái)說(shuō)，它告訴搜索引擎哪些頁(yè)面可以被抓取，哪些頁(yè)面不能被抓取。當(dāng)蜘蛛訪(fǎng)問(wèn)站點(diǎn)時(shí)，它首先檢查robots.txt是否存在于站點(diǎn)的根目錄中。如果存在，蜘蛛將根據(jù)Robots . txt文件內(nèi)容確定訪(fǎng)問(wèn)范圍；如果Robots . txt文件不存在，蜘蛛將訪(fǎng)問(wèn)站點(diǎn)上的所有頁(yè)面。
網(wǎng)站SEO優(yōu)化中，Robots的作用
1. 引導(dǎo)搜索引擎蜘蛛抓取特定的內(nèi)容或者欄目；
2. 屏蔽對(duì)搜索引擎不友好的鏈接，特別是網(wǎng)站版面大幅度修改或URL重寫(xiě)優(yōu)化的時(shí)候；
3. 屏蔽死鏈和404錯(cuò)誤頁(yè)面；
4. 屏蔽無(wú)內(nèi)容、無(wú)價(jià)值的頁(yè)面，比如客戶(hù)留言頁(yè)面；
5. 屏蔽重復(fù)頁(yè)面，如評(píng)論頁(yè)面，搜索結(jié)果頁(yè)面；
6. 屏蔽任何不想被抓取，不想被收錄的頁(yè)面；
7. 引導(dǎo)蜘蛛抓取網(wǎng)站地圖。
Robots使用說(shuō)明【百度站長(zhǎng)】
1. robots.txt可以告訴百度您網(wǎng)站的哪些頁(yè)面可以被抓取，哪些頁(yè)面不可以被抓取。
2. 您可以通過(guò)Robots工具來(lái)創(chuàng)建、校驗(yàn)、更新您的robots.txt文件，或查看您網(wǎng)站robots.txt文件在百度生效的情況。
3. Robots工具目前支持48k的文件內(nèi)容檢測(cè)，請(qǐng)保證您的robots.txt文件不要過(guò)大，目錄最長(zhǎng)不超過(guò)250個(gè)字符。
4. 如需檢測(cè)未驗(yàn)證站點(diǎn)的robots設(shè)置，請(qǐng)?jiān)诎俣日鹃L(zhǎng)上進(jìn)行檢測(cè)。
Robots.txt文件怎么寫(xiě)，以梓琳SEO為例
Robots.txt文件怎么寫(xiě)
robots.txt文件的寫(xiě)法，以zilinseo.com 梓琳SEO為例：
1、User-agent:(定義搜索引擎)
示例：
User-agent: *(定義所有搜索引擎)
User-agent: Googlebot (定義谷歌，只允許谷歌蜘蛛爬取)
User-agent: Baiduspider (定義百度，只允許百度蜘蛛爬取)
不同的搜索引擎的搜索機(jī)器人有不同的名稱(chēng)，谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。
2、Disallow:(用來(lái)定義禁止蜘蛛爬取的頁(yè)面或目錄)
示例：
Disallow: /(禁止蜘蛛爬取網(wǎng)站的所有目錄 "/" 表示根目錄下)
Disallow: /admin (禁止蜘蛛爬取admin目錄)
Disallow: /abc.html (禁止蜘蛛爬去abc.html頁(yè)面)
Disallow: /lianxiwomen.html (禁止蜘蛛爬去lianxiwomen.html頁(yè)面)
3、Allow:(用來(lái)定義允許蜘蛛爬取的頁(yè)面或子目錄)
示例：
Allow: /admin/test/(允許蜘蛛爬取admin下的test目錄)
Allow: /admin/abc.html(允許蜘蛛爬去admin目錄中的abc.html頁(yè)面)
4、匹配符 “$”
$ 通配符：匹配URL結(jié)尾的字符
5、通配符 “*”
* 通配符：匹配0個(gè)或多個(gè)任意字符
Robots.txt需要注意的問(wèn)題
Robots.txt文件需要注意的問(wèn)題
1、robots.txt 文件必須放在網(wǎng)站的根目錄中，不可以放在子目錄中。
比如以梓琳SEO為例，robots.txt 文件放網(wǎng)站根目錄。通過(guò)http://www.zilinseo.com/robots.txt 你就可以訪(fǎng)問(wèn)www.zilinseo.com的robots.txt文件了。
2、robots.txt 文件命令必須小寫(xiě)，記得是robots而不是robot。
3、User-agent、Allow、Disallow的 “:” 后面有一個(gè)字符的空格。
4、路徑后面加斜杠“/” 和不加斜杠的是有區(qū)別的
比如：Disallow: /help
禁止蜘蛛訪(fǎng)問(wèn) /help.html、/help/abc.html、/help/index.html
Disallow: /help/
禁止蜘蛛訪(fǎng)問(wèn) /help/index.html。 但允許訪(fǎng)問(wèn) /help.html、/helpabc.html
網(wǎng)站SEO優(yōu)化中Robots是什么意思，Robots.txt文件怎么寫(xiě)—梓琳SEO的分享到這里就結(jié)束了，robots文件相當(dāng)于給蜘蛛方向指引，減少不必要的抓取任務(wù)。特別是當(dāng)網(wǎng)站改版，有死鏈或者不想收錄的頁(yè)面的時(shí)候，Robots.txt文件更為重要。
Robots是什么意思
網(wǎng)站SEO優(yōu)化中Robots是什么意思，Robots . txt的定義
Robots . txt又稱(chēng)爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等。簡(jiǎn)單的來(lái)說(shuō)，它告訴搜索引擎哪些頁(yè)面可以被抓取，哪些頁(yè)面不能被抓取。當(dāng)蜘蛛訪(fǎng)問(wèn)站點(diǎn)時(shí)，它首先檢查robots.txt是否存在于站點(diǎn)的根目錄中。如果存在，蜘蛛將根據(jù)Robots . txt文件內(nèi)容確定訪(fǎng)問(wèn)范圍；如果Robots . txt文件不存在，蜘蛛將訪(fǎng)問(wèn)站點(diǎn)上的所有頁(yè)面。
網(wǎng)站SEO優(yōu)化中，Robots的作用
1. 引導(dǎo)搜索引擎蜘蛛抓取特定的內(nèi)容或者欄目；
2. 屏蔽對(duì)搜索引擎不友好的鏈接，特別是網(wǎng)站版面大幅度修改或URL重寫(xiě)優(yōu)化的時(shí)候；
3. 屏蔽死鏈和404錯(cuò)誤頁(yè)面；
4. 屏蔽無(wú)內(nèi)容、無(wú)價(jià)值的頁(yè)面，比如客戶(hù)留言頁(yè)面；
5. 屏蔽重復(fù)頁(yè)面，如評(píng)論頁(yè)面，搜索結(jié)果頁(yè)面；
6. 屏蔽任何不想被抓取，不想被收錄的頁(yè)面；
7. 引導(dǎo)蜘蛛抓取網(wǎng)站地圖。
Robots使用說(shuō)明【百度站長(zhǎng)】
1. robots.txt可以告訴百度您網(wǎng)站的哪些頁(yè)面可以被抓取，哪些頁(yè)面不可以被抓取。
2. 您可以通過(guò)Robots工具來(lái)創(chuàng)建、校驗(yàn)、更新您的robots.txt文件，或查看您網(wǎng)站robots.txt文件在百度生效的情況。
3. Robots工具目前支持48k的文件內(nèi)容檢測(cè)，請(qǐng)保證您的robots.txt文件不要過(guò)大，目錄最長(zhǎng)不超過(guò)250個(gè)字符。
4. 如需檢測(cè)未驗(yàn)證站點(diǎn)的robots設(shè)置，請(qǐng)?jiān)诎俣日鹃L(zhǎng)上進(jìn)行檢測(cè)。
Robots.txt文件怎么寫(xiě)，以梓琳SEO為例
Robots.txt文件怎么寫(xiě)
robots.txt文件的寫(xiě)法，以zilinseo.com 梓琳SEO為例：
1、User-agent:(定義搜索引擎)
示例：
User-agent: *(定義所有搜索引擎)
User-agent: Googlebot (定義谷歌，只允許谷歌蜘蛛爬取)
User-agent: Baiduspider (定義百度，只允許百度蜘蛛爬取)
不同的搜索引擎的搜索機(jī)器人有不同的名稱(chēng)，谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。
2、Disallow:(用來(lái)定義禁止蜘蛛爬取的頁(yè)面或目錄)
示例：
Disallow: /(禁止蜘蛛爬取網(wǎng)站的所有目錄 "/" 表示根目錄下)
Disallow: /admin (禁止蜘蛛爬取admin目錄)
Disallow: /abc.html (禁止蜘蛛爬去abc.html頁(yè)面)
Disallow: /lianxiwomen.html (禁止蜘蛛爬去lianxiwomen.html頁(yè)面)
3、Allow:(用來(lái)定義允許蜘蛛爬取的頁(yè)面或子目錄)
示例：
Allow: /admin/test/(允許蜘蛛爬取admin下的test目錄)
Allow: /admin/abc.html(允許蜘蛛爬去admin目錄中的abc.html頁(yè)面)
4、匹配符 “$”
$ 通配符：匹配URL結(jié)尾的字符
5、通配符 “*”
* 通配符：匹配0個(gè)或多個(gè)任意字符
Robots.txt需要注意的問(wèn)題
Robots.txt文件需要注意的問(wèn)題
1、robots.txt 文件必須放在網(wǎng)站的根目錄中，不可以放在子目錄中。
比如以梓琳SEO為例，robots.txt 文件放網(wǎng)站根目錄。通過(guò)http://www.zilinseo.com/robots.txt 你就可以訪(fǎng)問(wèn)www.zilinseo.com的robots.txt文件了。
2、robots.txt 文件命令必須小寫(xiě)，記得是robots而不是robot。
3、User-agent、Allow、Disallow的 “:” 后面有一個(gè)字符的空格。
4、路徑后面加斜杠“/” 和不加斜杠的是有區(qū)別的
比如：Disallow: /help
禁止蜘蛛訪(fǎng)問(wèn) /help.html、/help/abc.html、/help/index.html
Disallow: /help/
禁止蜘蛛訪(fǎng)問(wèn) /help/index.html。 但允許訪(fǎng)問(wèn) /help.html、/helpabc.html
網(wǎng)站SEO優(yōu)化中Robots是什么意思，Robots.txt文件怎么寫(xiě)—梓琳SEO的分享到這里就結(jié)束了，robots文件相當(dāng)于給蜘蛛方向指引，減少不必要的抓取任務(wù)。特別是當(dāng)網(wǎng)站改版，有死鏈或者不想收錄的頁(yè)面的時(shí)候，Robots.txt文件更為重要。
