题目内容
（请给出正确答案）
关于网络爬虫协议文件robots.txt，说法错误的是:
A一个网站可以放多个不同robots文件
Brobots文件不可以用xml格式命名
Cdisallow用来描述不希望被访问到的一个URL
Drobots文件可以放在任何位置
简答题官方参考答案
（由简答题聘请的专业题库老师提供的解答）
更多“关于网络爬虫协议文件robots.txt，说法错误的是:A一个网站可以放多个不同robots文件Brobots文件”相关的问题
A.bc.txt
B.disallow.txt
C.aggrement.txt
D.robots.txt
A.robot.txt
B.robot.html
C.robots.txt
D.robots.html
A、使搜索引擎不能访问网站
B、使百度不能访问网站
C、使Google不能访问网站
D、告知搜索引擎网站内有哪些文件不能访问，哪些文件可以访问
A、因为meta属性中，keywords可以很容易的被操纵，从而导致很多搜索引擎对keywords不再重视，所以对于meta属性中的description也没有必要关注
B、关于文章的内容方面尽量保证在搜索引擎中原创的，所以在推广过程中文章字数越多越好，也不需要设置分页，这样用户读起来更直观
C、在做站外友情链接交换时，交换的友链最好是高质量相关性高的链接
D、Robots.txt协议是用来规定搜索引擎能抓取什么文件，不能抓取什么文件
A."User-agent：*Disallow：/A"
B. "User-agent：Allow：/A"
C. "User-agent：Disallow：/"
D. "User-agent：*Allow：/"
A.robots.txt文件存放于空间根目录下
B.robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件
C.如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面
D.robots.txt文件只需要存放在空间任意位置就行
A.日志文件是由数据源系统自动生成的记录文件，以指定的文件格式记录活动。
B.传感器能感受到被测量的信息并能将感受到的信息按一定规律变换成为电信号或其他所需形式的信息输出。
C.网络爬虫可以代替人们自动地在互联网中进行数据信息的采集与整理。
D.Python与C++相比，代码更简洁，适合非专业编程人员入手。
警告：系统检测到您的账号存在安全风险
为了保护您的账号安全，请在“简答题”公众号进行验证，点击“官网服务”-“账号验证”后输入验证码“”完成验证，验证成功后方可继续查看答案！
