让博客指定页面不被搜索引擎收录

ChrAlpha 的幻想乡 at 
前言有时,想往自己博客上放置一些文章,且完全不想被搜索引擎收录。这时候就需要用到 robots.txt 或者 noindex 元标记。 Robots.txt 简介 robot.txt 是谷歌发起的一个标准,告诉搜索引擎是否应该让爬虫获取某些页面的摘要等。你需要在 根目录 新建一个 robots.txt 的文本文档。如果你是使用 Hexo ,就放到 yourblog/sourse/ 下。 基本格式:关键字内容 User-agent:爬虫的名称 Allow:指定允许某个页面 Disallow:指定不允许某个页面 User-agent 爬虫的名称,如百度的 baiduspider ,谷歌的 goog……