用robots.txt优化SEO

    搜索引擎优化（Search Engine Optimization，SEO）是一种利用搜索引擎的搜索规则来提高目的网站在有关搜索引擎内的排名的方式。之前一直觊觎别人的blog搜索排名靠前、访问量巨高，近日小生也对自己小站的SEO做了一些研究与优化，下面是两个最简单但是最有效的方法，总结下来希望对你有用：

一.向“Google网站管理者”页面提交自己blog的sitemap文件

    登陆Google后在“Google网站管理者”功能中很容易找到“向Google提交xml文件”的选项（当然前提是你要先通过Google的网站所有者验证，我想这个是人人都做过的吧，本身就是挺有用的分析工具），在制作自己的sitemap后放在网页根目录下（当然对于像我一样的代码盲也可以使用插件之类实现自动生成），如我的网站地图文件就是 http://www.sceneryland.com/sitemap.xml （请注意这务必是一个有访问权限的位于根目录下的文件），然后就完成了。 若干天后你再到Google搜索自己的关键字，会发现全面了许多，目的达到。

二.向百度提交网页地图

     不可否认，百度在中文搜索领域占得不只是“半壁江山”，而百度却没有给大家提供“webmaster”一类的工具，那么我们该如何向baidu提交我们的sitemap文件呢？ 这里就用到了 robots.txt 文件。robots是一个必须放在网站根目录、可以让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。所有的搜索引擎读到你的网站以后，第一时间会读取的就是这个txt文件中的内容了，它可以引导搜索引擎收录你文章的内容，正因为sitemap包含了所有的网站链接，所以利用好robots文件对于网站的SEO意义非凡。

      那么如何编写robots.txt文件呢，以下用几个最常见的情况，直接以文本代码内容举例说明，相信很容易理解：
  1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
  2. 禁止所有SE收录网站的某些目录：
  User-agent: *
  Disallow: /目录名1/
  Disallow: /目录名2/
  Disallow: /目录名3/
   3. 禁止某个SE收录本站，例如禁止百度：
  User-agent: Baiduspider
  Disallow: /
  4. 禁止所有SE收录本站：
  User-agent: *
  Disallow: /
  5. 加入sitemap.xml路径,例如：
  Sitemap: http://www.seotest.cn/sitemap.xml

最后，robots文件的编写我是从这里学会的,有兴趣也可以去看一下：

http://www.seotest.cn/BLOG/seo-jiaocheng-robots.html

小生

2011.1.9