DEDECMS robots文件设置

站长朋友应该是知道robots文件的作用的，在这里小编就简单为不知道的朋友解释一下，大家建站之后为了就是收录，那么肯定会有各种蜘蛛来爬取网站，然而蜘蛛的爬取也会爬取到一些敏感或者隐私的信息，很多站长朋友就希望蜘蛛不要爬取这些目录，所以就有了robots，左右就是屏蔽蜘蛛爬取某些目录。而用织梦DEDECMS建站的朋友们就会发现，dedecms自带的robots.txt文件设置非常的简单，不能完全满足网站的优化的高要求，那要怎么样把robots.txt文件的优化做到最好呢？接下来小编提供一些方法，希望有帮助。（出于安全性考虑，高速度 主机小编建议扎安装朋友使用dedecms 的时候配合高速度 主机php独立ip空间）首先先介绍一下基本设置：User-agent: *Disallow: /dede 管理后台目录，需要改名Disallow: /include 程序的核心文件Disallow: /member 会员管理目录，有些文件可以开放Disallow: /plus 插件及辅助功能目录 ，有些文件可以开放，如search.phpDisallow: /templets 默认模板存放目录Disallow: /data 系统缓存或其它可写入数据存放目录Disallow: /uploads 上传下载文件保存目录,不想搜索引擎引用图片的话，禁止Disallow: /images 系统默认模板图片存放目录Disallow: /index.php 网站默认首页，静态化的话，最好禁止Disallow: /404.htmlAllow: /plus/search.php 开放禁止目录里的具体文件接下来一一介绍后台管理目录和栏目页的设置：1、dede后台目录，为了网站安全考虑，必须要改名。然而改名之后在robots.txt文件里怎么设置呢？直接禁止抓取，还是泄露了后台目录，等于没有改名。那么该如何解决这个问题呢?可以通过下面的设置解决这个问题，如后台目录为dedecms：Disallow: /d*ms这样我们就能即禁止了搜索引擎的爬取，又不会泄露后台目录名称。2、大家会注意到，如果网站不做伪静态设置话，栏目分页后会有两个链接指向栏目首页，如*/web/和*/web /list_1_1.html，为了网站的优化，可以先做一下伪静态的设置（高速度 主机的会员中心有伪静态设置的工单）把首页和第一页的链接改为*/web/的形式，然后在robots.txt文件里做以下设置:Disallow: /*1.html$以上就是DEDECMS robots.txt文件的设置，大家可以根据自己网站的情况具体去设置。希望可以帮助到各位站长朋友们！高速度 主机相关文章推荐阅读：DEDECMS后台模块管理空白的解决方法织梦程序中PLUS文件作用介绍及安全设置DEDECMS安装WAP之后登录后台报错的解决方法利用HTTP协议修改DEDECMS首页代码来实现网站重定向

本文地址：https://www.gaosudu.com/dedecms/17829.html