标签：robots

robots.txt一般指robots协议 ，全称是“网络爬虫排除标准”,网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。它是一个文本文...

阅读(483)标签： robots   robots协议