zblog博客的robots.txt文件正确写法

robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

我们要了解一下都是代表什么：

eed.php : RSS Feed 入口文件

index.php : 前端页面入口文件

search.php : 搜索入口文件

zb_install 文件夹：zblog 初始化安装文件夹，安装完毕会自动删除，或手动删除

zb_system 文件夹：为 zblog 框架的主要文件，需要屏蔽搜索蜘蛛去它以及它所包含的内容抓取

zb_users 文件夹：为 zblog 为用户文件夹，里面包含了主题文件夹，插件文件夹，以及附件存放文件夹。

avatar ：用户头像文件夹

cache ：缓存文件夹

data ：数据文件夹（屏蔽蜘蛛）

emotion ：表情文件夹

language ：语言包文件夹（屏蔽蜘蛛）

logs ：目志文件夹,里面文件是记录错误的（屏蔽蜘蛛）

plugin ：插件文件夹

theme ：主题文件夹

upload ：附件文件夹（图片或其它类型文件）

一般zblog博客的robots.txt文件的写法

User-agent: *

Disallow: /zb_system/

Disallow: /zb_users/data/

Disallow: /zb_users/language/

Disallow: /zb_users/logs/

Sitemap:/网站地址/sitemap.xml

注意：sitemap.xml 为网站的地图文件，可以在zblog应用中心搜索相关的插件

本文来自：关尓佟博客，原地址：https://guanertong.cn/post/42.html