robots协议（robots txt协议）

大家好,小体来为大家解答以上问题。robots协议，robots txt协议这个很多人还不知道,现在让我们一起来看看吧！

1、robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。

2、因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。

3、robots.txt应放置于网站的根目录下。

以上就是【robots协议，robots txt协议】相关内容。

标签：

免责声明：本文为转载，非本网原创内容，不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。