欢迎来到求知题库网
求知题库官网
登录
注册
首页
计算机java工程师信产部认证考试
计算机网络设备调试员
计算机计算机软件水平考试
计算机通信工程师
计算机计算机辅助设计绘图员
全部科目
>
大学试题
>
计算机科学
>
Python程序设计
搜题找答案
填空题
网站通过一个文件（）来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
【参考答案】
robots.txt
点击查看答案
上一题
目录
下一题
相关考题
填空题
现在网站会采取一些（）措施来阻止网络爬虫的不当爬取行为。
填空题
待下载网页集合就是（）URL 列队中的网页，这些网页即将被爬虫下载。
填空题
robots.txt文件必须放置在一个站点的（）目录下，且文件名必须小写。
微信扫一扫,加关注免费搜题
关注
顶部
微信扫一扫,加关注免费搜题
