robots.txt 文件必須放在網(wǎng)站的根目錄。
放在子目錄的 Robots.txt 文件搜索引擎不能爬取到，所以不會(huì)起任何作用。
如：
http://www.meilijishi.com/robots.txt 是有效的。
http://www.meilijishi.com/a/robots.txt 是無(wú)效的。
以下3種情況需要注意：
1、如果手機(jī)網(wǎng)站采用的是m.的二級(jí)域名，要給手機(jī)網(wǎng)站設(shè)置robots.txt的話，robots.txt要放在m. 這個(gè)二級(jí)域名的根目錄下，而不是www的根目錄。
2、給網(wǎng)站添加了一個(gè)站內(nèi)站，如果要屏蔽某鏈接，是在www根目錄下的robots里屏蔽，而不是給站內(nèi)站創(chuàng)建獨(dú)立的robtos.txt文件。
3、網(wǎng)站有多個(gè)二級(jí)域名的話，應(yīng)該每個(gè)二級(jí)域名設(shè)置一個(gè)robots.txt。搜外問(wèn)答的例子，點(diǎn)擊查看。
擴(kuò)展閱讀：
