有的时候，站长并不希望某些页面被收录(或者说被索引)，如复制内容页面，网站上不出现链接。或者使用JavaScript.Flash链接，使用nofollow等方法都不能保证页面一定不被收录。站长自己虽然没有链接到不想被收录的页面,其他网站上可能由于某种原因出现导入链接，导致页面被抓取和收录,
有的时候不希望某些页面被抓取，如付费内客、还在测试阶段的网站。还有一种很常见的情况，搜索引擎抓取了大量没有意义的页面，如电子商务网站按各种条性过滤、筛选的页面，各种排版格式的页面，这些页面数量庞大，抓取过多会消耗掉搜索引擎分配给这个网站的总抓取时间，造成真正有意义的页面反倒不被抓取和收录，如果通过检查日志文件发现这些无意义页面被反复大量抓取，想要收录的页画却根本没被抓取过，那应该直接禁止抓取无意文的页面。
抓取和收录（索引）是不同的两个过程。要确保页面不被抓顷取，需
要使用robsss 文件。要确保页面不被收录，要使用Noindex Meta Robots标签。
