华宇网络科技
HUAYU NERWORK

温州网站建设公司须知Robots.txt文件是什么

发表时间:2019-06-24 09:25

robots.txt是搜索引擎看见的第一个文件,可以通过定义这个文件告诉搜索引擎哪些内容可以抓取、哪些内容不能抓取。

当一个搜索引擎访问网站的时候,首先查看网站根目录下有没有robots.txt这个文件,如果有,搜索引擎会按照robots.txt文件里面的指令抓取网站;如果没有,搜索引擎会沿着网站的链接进行抓取,这时抓取是没有规律的,不想让搜索引擎抓取的内容也有可能被抓取。


扫描查看手机版网站

会员登陆 | 网站鉴赏 | 法律公告 | 联系我们 | 网站地图 | 意见反馈
温州做网站 温州网站制作 温州网站建设 温州专业做网站 百度SEO优化 温州网络推广 华宇网络                   咨询热线:13262320613
Copyright ©2009-2019 All Rights Reserved 温州华宇网络科技有限公司 版权所有