网站SEO,ROBOTS文件详细写?

来源: 外贸网站建设   点击数:   发布时间: 2011-1-4

前段时间有看到一本SEO相关的书籍,里面讲解到如何正确书写好你的robots文档。现在也就我所了解的关于robots.txt文档简单分

享下:

    在了解此robots.txt文档的使用之前,我们先了解下搜索引擎的爬取步骤。

    当每一个搜索引擎蜘蛛在爬取你的网站之前,都会先查看有没有robots.txt文档,在正确读取完此文档后,然后按照此文档定义

的规则进行有选择性的爬行,直到爬取完整个网站。

    大家都知道当一个网页不存在时系统会反馈一个404错误页,所以404页面越多,对于网站的优化就越不利。

    其实同样的道理,在搜索引擎爬取你网站查找根目录的robots.txt文档时,当此文档存在时即继续爬行;当此文档不存在时同样

返回一个404错误。可能有大部分站长都没有注意,有的网站根本没有robots文档,其实那是不正确的做法,哪怕上传一个robots命

名的空文件也行。

    另外可能考虑到大多数站长对此文档的书写规则的不熟悉,可能百度对此文档的认为可有可无,但是我们做网站并不只是为了给

百度看,另外其他搜索引擎也很重要。所以正常情况下请务必给网站添加书写正确的robots.txt文档。SEO细节决定成败!

上一篇: 广州做网站,网站建设,一般网站建设的标准是什么? 下一篇: 网站优化品牌化是群雄逐鹿胜出的利器