SEO教程 robots.txt是什么有什么用,ro robots.txt一般指robots协议 ,全称是“网络爬虫排除标准”,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。它是一个文本文... 阅读(424)标签: robots robots协议