Robots.txt：修订间差异
创建页面，内容为“明白您的要求。以下是严格遵循 MediaWiki 语法、使用 <ref>标签进行标注，并符合百科格式的精确词条。 '''Robots.txt'''（全称：Robots Exclusion Protocol，缩写 REP）是一种存放于网站根目录的纯文本文件，用于向网络爬虫（Web Crawler）及各类网络机器人（Internet Bot）发出访问指令，告知其网站中哪些内容允许被抓取、哪些内容禁止被抓取<nowiki><ref name=":0"></nowiki…” |
小无编辑摘要 |
||
| 第28行： | 第28行： | ||
|- | |- | ||
|存放位置 | |存放位置 | ||
|网站根目录（如 https:// | |网站根目录（如 <nowiki>https://caellab.com/robots.txt）</nowiki> | ||
|} | |} | ||
| 第39行： | 第39行： | ||
=== 文件存放位置 === | === 文件存放位置 === | ||
Robots.txt 文件必须存放于网站主机的根目录下，并通过统一资源标识符（URI）/robots.txt 访问。例如，对于域名 https://www.example.com，其 robots.txt 文件的访问地址即为 https://www.example.com/robots.txt。每个网站仅允许存在一个 robots.txt 文件。该文件为 UTF-8 编码的纯文本文件，不可使用文书处理软件创建，以免引入不兼容字符<ref name=":1" />。 | Robots.txt 文件必须存放于网站主机的根目录下，并通过统一资源标识符（URI）/robots.txt 访问。例如，对于域名 <nowiki>https://www.example.com，其</nowiki> robots.txt 文件的访问地址即为 <nowiki>https://www.example.com/robots.txt。每个网站仅允许存在一个</nowiki> robots.txt 文件。该文件为 UTF-8 编码的纯文本文件，不可使用文书处理软件创建，以免引入不兼容字符<ref name=":1" />。 | ||
=== 核心语法与指令 === | === 核心语法与指令 === | ||