搜题
网友您好，请在下方输入框内输入要搜索的题目：
搜题
题目内容 （请给出正确答案）
提问人：网友xiaoruoyun 发布时间：2022-01-06
[单选题]

Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）

A."User-agent：*Disallow：/A"

B. "User-agent：Allow：/A"

C. "User-agent：Disallow：/"

D. "User-agent：*Allow：/"

参考答案
简答题官方参考答案 （由简答题聘请的专业题库老师提供的解答）
查看官方参考答案
网友提供的答案
共位网友提供了参考答案，
查看全部
  • · 有4位网友选择 B，占比44.44%
  • · 有3位网友选择 C，占比33.33%
  • · 有2位网友选择 A，占比22.22%
匿名网友[22.***.***.104]选择了 A
1天前
匿名网友[253.***.***.148]选择了 C
1天前
匿名网友[25.***.***.73]选择了 B
1天前
匿名网友[209.***.***.103]选择了 A
1天前
匿名网友[89.***.***.75]选择了 C
1天前
匿名网友[33.***.***.73]选择了 B
1天前
匿名网友[219.***.***.101]选择了 C
1天前
匿名网友[114.***.***.210]选择了 B
1天前
匿名网友[110.***.***.239]选择了 B
1天前
提交我的答案
登录提交答案，可赢取奖励机会。
更多“Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取ww…”相关的问题
第1题
【填空题】Robots.txt文件的作用是禁止搜索引擎抓取网站中某些内容，存放位置是（）。
点击查看答案
第2题

在为禁止搜索引擎抓取网页设计的Robots.txt文件中，（）指令标示禁止抓取。

点击查看答案
第3题
在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取？（)

A.Allow

B.Disallow

C.index

D.noindex

点击查看答案
第4题
robots.txt的作用是（）。

A.禁止搜索引擎蜘蛛抓取特定URL

B. 给搜索引擎蜘蛛提供网站地图文件

C. 以上都对

点击查看答案
第5题

在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取？（）

A.Allow

B.Disallow

C.nofollow

D.noindex

点击查看答案
第6题
以下哪种网站体系问题不利于搜索引擎蜘蛛抓取网站（）

A.缺乏robots.txt文件

B. 使用框架结构

C. 动态URL（超过两个变量）

D. 购买链接

E. 要求填写提交表单的页面

点击查看答案
第7题
Robots协议的全称是“网络爬虫排除标准”，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议一般存放于网站根目录下的（）文件中

A.bc.txt

B.disallow.txt

C.aggrement.txt

D.robots.txt

点击查看答案
第8题
如果一个网站运营半年了且文章每天都在持续更新，但收录甚少，造成这种情况的原因有哪些？（）

A.Robots.txt文件配置可能有误，阻止搜索引擎抓取某些页面

B. 服务器问题，使网站无法被搜索引擎收录

C. 搜索引擎抓取后内容还需要处理，需等待

D. 违法内容被投诉删除

E. 严重作弊行为被删除

点击查看答案
第9题
以下关于SEO的描述中，正确的有（）

A、因为meta属性中，keywords可以很容易的被操纵，从而导致很多搜索引擎对keywords不再重视，所以对于meta属性中的description也没有必要关注

B、关于文章的内容方面尽量保证在搜索引擎中原创的，所以在推广过程中文章字数越多越好，也不需要设置分页，这样用户读起来更直观

C、在做站外友情链接交换时，交换的友链最好是高质量相关性高的链接

D、Robots.txt协议是用来规定搜索引擎能抓取什么文件，不能抓取什么文件

点击查看答案
第10题
下列选项中，关于robots.txt文件的说法正确的是（）

A.robots.txt文件存放于空间根目录下

B.robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件

C.如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面

D.robots.txt文件只需要存放在空间任意位置就行

点击查看答案
考试指南 全部 >
【盐城成人高考报名官网】高升专报名注意事项,，通过成人高考提升学历有这些好处 山东自学考试信息网官网查询成绩 2024年初二辍学怎么自考学历 考哪些内容 【江苏成人高考院校】成人高考本科毕业可以继续考研吗,，常州工学院成人高考主要考哪 报考江苏成人高考对工作有多大用途,是国家承认的吗？ 24上半年黑龙江自学考试成绩查询方法大揭秘 想提升学历怎么报名 有哪些方法 统招专升本的报名条件是什么意思 受过处分的人员报名统招专升本可以吗 24年江苏成人高考考哪几门 【无锡太湖学院成人高考】成人高考报考要避免这些误区,，成人高考函授安全工程专业有
重要提示： 请勿将账号共享给其他人使用，违者账号将被封禁！
查看《购买须知》>>>
重置密码
账号：
旧密码：
新密码：
确认密码：
确认修改
购买搜题卡查看答案
购买前请仔细阅读《购买须知》
请选择支付方式
微信支付
支付宝支付
点击支付即表示你同意并接受《服务协议》和《购买须知》
立即支付
搜题卡使用说明

1. 搜题次数扣减规则：

功能 扣减规则
基础费
（查看答案）		 加收费
（AI功能）
文字搜题、查看答案 1/每题 0/每次
语音搜题、查看答案 1/每题 2/每次
单题拍照识别、查看答案 1/每题 2/每次
整页拍照识别、查看答案 1/每题 5/每次

备注：网站、APP、小程序均支持文字搜题、查看答案；语音搜题、单题拍照识别、整页拍照识别仅APP、小程序支持。

2. 使用语音搜索、拍照搜索等AI功能需安装APP（或打开微信小程序）。

3. 搜题卡过期将作废，不支持退款，请在有效期内使用完毕。

找回账号密码
联系在线客服
请使用微信扫码支付(元)

订单号：

遇到问题请联系在线客服

请不要关闭本页面，支付完成后请点击【支付完成】按钮
遇到问题请联系在线客服
恭喜您，购买搜题卡成功 系统为您生成的账号密码如下：
重要提示：请勿将账号共享给其他人使用，违者账号将被封禁。
发送账号到微信 保存账号查看答案
怕账号密码记不住？建议关注微信公众号绑定微信，开通微信扫码登录功能
警告：系统检测到您的账号存在安全风险

为了保护您的账号安全，请在“简答题”公众号进行验证，点击“官网服务”-“账号验证”后输入验证码“”完成验证，验证成功后方可继续查看答案！

- 微信扫码关注简答题 -
警告：系统检测到您的账号存在安全风险
抱歉，您的账号因涉嫌违反简答题购买须知被冻结。您可在“简答题”微信公众号中的“官网服务”-“账号解封申请”申请解封，或联系客服。
- 微信扫码关注简答题 -
请用微信扫码测试
欢迎分享答案

为鼓励登录用户提交答案，简答题每个月将会抽取一批参与作答的用户给予奖励，具体奖励活动请关注官方微信公众号：简答题

简答题官方微信公众号

尊敬的用户，您尚未绑定微信号
扫码关注微信公众号，开通微信扫码登录功能
您可能还需要：
重置密码 查看订单 联系客服
简答题
下载APP
关注公众号
TOP