随心网

2022-5-20阅读(312)评论(0)

出于安全的考虑，在网站seo优化时写入robots.txt文件，实际上就是告诉搜索引擎蜘蛛，网站上哪些内容允许抓取，哪些内容不允许抓取，这样做可以提高搜索引擎的抓取效率，增加搜索引擎对网站的友好度。 robots.txt文件的规范写法 文件中的记录通过空行分开，以CR、CR/NL、or NL作为结束符。robots.txt文件中...