谷歌:Keep Your Robots.txt Simple | 
(13) by Barry Schwartz 
|在谷歌搜索引擎优化下提交的Prev故事下一个故事推特分享
Prev故事下一个故事
谷歌网站管理员帮助线程有谷歌的约翰穆勒回应一些复杂的Robots.txt问题。在这一点上，他强烈建议在设置robots.txt文件时，确保它非常简单。John说:
如果可能的话，我真的建议保持robots.txt文件尽可能简单，这样您就不会在维护方面遇到麻烦，而且它实际上只禁止在爬行时(或当其内容被索引时)有问题的资源。Heck, John甚至建议你在不需要robots.txt文件时完全删除它，但如果你确实需要更复杂的文件，请确保将其保持在500KB以下。要查看它所在的上下文，请参见谷歌Webmaster Help线程。就我个人而言，我完全赞成尽可能不要使用robots.txt文件。
论坛讨论在谷歌站长帮助。
