Robots.txt：修订间差异
删除的内容 添加的内容
创建页面，内容为“明白您的要求。以下是严格遵循 MediaWiki 语法、使用 <ref>标签进行标注，并符合百科格式的精确词条。 '''Robots.txt'''（全称：Robots Exclusion Protocol，缩写 REP）是一种存放于网站根目录的纯文本文件，用于向网络爬虫（Web Crawler）及各类网络机器人（Internet Bot）发出访问指令，告知其网站中哪些内容允许被抓取、哪些内容禁止被抓取<nowiki><ref name=":0"></nowiki…” |
小无编辑摘要 |
||
第28行：
|-
|存放位置
|网站根目录（如 <nowiki>https://
|}
第39行：
=== 文件存放位置 ===
Robots.txt 文件必须存放于网站主机的根目录下，并通过统一资源标识符（URI）/robots.txt 访问。例如，对于域名 <nowiki>https://www.example.com，其</nowiki> robots.txt 文件的访问地址即为 <nowiki>https://www.example.com/robots.txt。每个网站仅允许存在一个</nowiki> robots.txt 文件。该文件为 UTF-8 编码的纯文本文件，不可使用文书处理软件创建，以免引入不兼容字符<ref name=":1" />。
=== 核心语法与指令 ===
| |||