轻松配置网站Robots.txt文件-网站运营顾问-江西世纪网络

电信站 网通站

万网产品站 新网产品站

服务热线： | 0791-6810858
| 400-6868-103 (免长途费)

首 页 网站建设 OA办公 网站推广 域名注册 虚拟主机 集团邮局 服务器租用 运营顾问 网站案例 |

您现在的位置：首页 → 运营顾问 → 网站优化类

运营顾问
Consultant

网站建设类

网络营销类

运营研究类

网站优化类

轻松配置网站Robots.txt文件

网站优化类 www.21it.com 时间：2008-8-9 10:18:06

p>在一个网站里，robots.txt是一个重要的文件，每个网站都应当有一个设置正确的robots.txt。
当搜索引擎来抓取你的网站文件之前，它们会先来看看你网站的robots.txt文件的设置，以了解你所允许它抓取的范围，包括哪些文件，哪些目录。那么如何配置您的robots.txt文件呢？
让我们看一个例子：
# robots.txt file start
# Exclude Files From All Robots:
User-agent: *
Disallow: /admin_login/
Disallow: /admin/
Disallow: /admin.htm
Disallow:/admin.aspx
# End robots.txt file

有#号的都是注释，方便阅读。
User-agent就是搜索引擎的蜘蛛，后面用了*号，表示对所有的蜘蛛有效。
Disallow就是表示不允许抓取，后面的目录或者文件，表示禁止抓取的范围。

编辑好这个文件，然后保存在你的网站的根目录下(一定是根目录下，当然你也可以调整)，那么搜索引擎就会来看的。
如果你没有robots.txt文件，在你的网站访问日志文件里，你会看到蜘蛛访问robots.txt文件不成功的纪录。
好了，现在就去设置你的robots.txt文件吧。

咨询反馈
如果想获得更为详细的解决方案，并获得专业的支持，请您与我们联系，您也可以在线提交建站意向。

程序开发
世纪网络专业应用系统开发，帮助客户建立业务管理系统、员工管理系统、办公自动化系统等，提高工作效率，提高生产力。
网站推广
Baidu百度作为全球最大的中文搜索引擎，是国内用户最常使用搜索引擎。实践证明，其竞价排名是目前为止效果最好，投资回报最高的网络推广服务。

收藏本站 | 关于我们 | 新闻公告 | 付款方式 | 留言反馈 | 人才招聘 | 合作伙伴 | 联系方式

版权所有 © 2008 江西世纪网络科技有限公司 赣ICP备05020270号
全国统一服务热线：400-6868-103 QQ在线：80229612 6022008 24009604
电话：0791-6810858 6810859 不间断服务：13097283353 13870607108
地址：南昌市南京东路165号东方广场A1-2座1104 (邮编：330029)
法律顾问：北京市衡基律师事务所 徐颖略律师