在网站中可以使用Robots.txt文件，限制网络机器人对整个站点或者特定目录的抓取，防止敏感信息泄露。（)

A.必须建立在保存站点文件所在的物理目录中

B.必须与保存站点文件所在的物理目录位于同一物理磁盘上

C.可以位于网络中的不同物理位置

D.只能是虚拟主机使用的目录

A.必须建立在保存站点文件所在的物理目录中

B. 必须与保存站点文件所在的物理目录位于同一物理磁盘上

C. 可以位于网络中的不同物理位置

D. 只能是虚拟主机使用的目录

A.网站外部链接的数量和质量

B. 网站被三大知名网络目录收录

C. Google抓取您网站的页面数量

D. 放一些DPF格式的文件

A.open_basedir

B.allow_url_fopen

C.url_rewriter.tags

D.allow_url_include

A.分析目标网站的HTML代码

B.解析HTML代码

C.使用软件提取网站信息

D.对获得的数据分类

在文件系统中，使用()信息实现对文件的管理。

A文件存储位置

B文件目录

C文件内容

A.避免抓取过程中影响正常的服务器运行

B.不应该对有隐私设置的网站抓取

C.应该在遵守相关法律的前提下抓取

D.可以抓取任何网站的任何数据

A."User-agent：*Disallow：/A"

B. "User-agent：Allow：/A"

C. "User-agent：Disallow：/"

D. "User-agent：*Allow：/"