题目内容
（请给出正确答案）
A.robots.txt文件存放于空间根目录下
B.robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件
C.如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面
D.robots.txt文件只需要存放在空间任意位置就行
参考答案
简答题官方参考答案
（由简答题聘请的专业题库老师提供的解答）
网友提供的答案
更多“下列选项中，关于robots.txt文件的说法正确的是（）”相关的问题
A.User-agent，定义搜索引擎的类型
B.No follow，定义搜索引擎这个页面的链接不要去跟踪
C.Disallow，定义禁止搜索引擎收录的地址
D.Allow，定义允许搜索引擎收录的地址
关于网络爬虫协议文件robots.txt，说法错误的是:
A一个网站可以放多个不同robots文件
Brobots文件不可以用xml格式命名
Cdisallow用来描述不希望被访问到的一个URL
Drobots文件可以放在任何位置
A、因为meta属性中，keywords可以很容易的被操纵，从而导致很多搜索引擎对keywords不再重视，所以对于meta属性中的description也没有必要关注
B、关于文章的内容方面尽量保证在搜索引擎中原创的，所以在推广过程中文章字数越多越好，也不需要设置分页，这样用户读起来更直观
C、在做站外友情链接交换时，交换的友链最好是高质量相关性高的链接
D、Robots.txt协议是用来规定搜索引擎能抓取什么文件，不能抓取什么文件
A、使搜索引擎不能访问网站
B、使百度不能访问网站
C、使Google不能访问网站
D、告知搜索引擎网站内有哪些文件不能访问，哪些文件可以访问
警告：系统检测到您的账号存在安全风险
为了保护您的账号安全，请在“简答题”公众号进行验证，点击“官网服务”-“账号验证”后输入验证码“”完成验证，验证成功后方可继续查看答案！
