Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。在www.domain.com中,如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容,Robots文件应如何设置?()
A."User-agent:*Disallow:/A"
B. "User-agent:Allow:/A"
C. "User-agent:Disallow:/"
D. "User-agent:*Allow:/"
- · 有4位网友选择 B,占比44.44%
- · 有3位网友选择 C,占比33.33%
- · 有2位网友选择 A,占比22.22%