关于WordPress 站点添加和上传 robots.txt
美国、香港服务器
关于WordPress 站点添加和上传 robots.txt
09-15 来源:
关于WordPress 站点添加和上传 robots.txt
WordPress网站robots.txt怎么写?robots.txt是网站很重要的一个组成部分。它告诉搜索引擎什么文件可以抓取，什么文件不能抓取。它是搜索引擎和网站之间一个默许的协议，由搜索引擎自觉遵守，用文本文档来实现，放在robots.txt中。
robots协议(也称为爬虫协议、爬虫规则、机器人协议等)，也就是通常添加到网站根目录的robots.txt 文件，它的作用在于告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，从而优化网站的收录结果和权重。
如果你的网站根目录还没有 robots.txt，你可以创建一个，具体的写法请参考 百度百科。下面是一个基本的 WordPress robots协议：
一、robot文件怎么写?
最简单的写法是如下面例子的两行代码。
下面两行代码表示网站禁止抓取
User-agent: *
Disallow: /
下面代码表示网站开放抓取
User-agent: *
Allow:
当robots.txt为空的时候，代表允许任何搜索引擎抓取，没有限制。
1、如果你是新建网站，在安装完wordpress程序之后，应该立即使用上面的禁止抓取代码。等待网站安装、配置完毕，发布一定内容之后，这时确认网站形式、目录架构、核心方向、内容模式不会有删改之后，再开放抓取，这样能够让搜索引擎抓取到正确的内容。
提示：一定要在开放抓取之前搞定网站相关内容，开放抓取之后只是新增内容、目录，这都是正常的。如果再删、改就会引起搜索引擎的反感，进而可能会被惩罚。
如果不放置这个robots.txt文件，从零开始对wordpress网站内容、目录、结构反复多次增、删、改，只会让搜索引擎认为你的网站不稳定，造成抓取了也不放出来，放出来也不给权重，不给好的排名，不给关键词靠前等等不良后果。
说到底大部分网站都是靠着搜索引擎的青睐才能活下去，我们做不到独特内容让搜索引擎特别喜欢你，起码也别被搜索引擎反感。
二、robot放到哪里去?
写好了之后放到网站根目录，比如wordpress网站的话，就用ftp软件上传到wp-admin、wp-content、wp-includes文件夹同一级目录即可。
比如本站亿恩Enews的robot文件网址是 https://enews.enkj.com/robots.txt，你传上去之后把域名用你自己的替换掉，用网址能正常打开看到内容就说明是正确的了。
三、robot的一点个人经验总结
1、robots文件的官方写法，国内请参考百度搜索资源平台>站点管理>数据监控>Robots。下面有一些关于写法的一些解释，如果你的网站主要靠百度带来流量，就老老实实的依照建议写。
我们常用的就是allow、Disallow等几条命令，allow也就是允许抓取文件、文件夹;Disallow是禁止抓取文件、文件夹。
2、外贸站及面向国外访客的网站，robot写法请参考google support中心的解释，因为国外网站的流量主要来源自谷歌，按照谷歌爸爸的描述去操作准没错。
3、禁止了robot之后，搜索引擎会按照相应的规则抓取或不抓取网站内容。不过用户是可以正常访问网站的。
很多新手只知道服务器运维、建设wordpress网站内容、发外链、加友链，却不知道在网站建设初期及正常上线后最重要的robots.txt文件，所以对新手来说，本文内容很重要，建议大家好好看看.
以下即为基本的wordpress站点robots.txt文本
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /articles/*/feed
三二互联专业提供香港VPS,美国VPS主机,香港云服务器租用等业务香港美国到大陆CN2 GIA速度最快
