terça-feira, 31 de janeiro de 2012

Arquivos de Robots.txt deve ser menos que 500KB

John Google Mueller lembra os webmasters em sua página no Google + Google que tem um limite de apenas ser capaz de processar até 500 KB de seu arquivo robots.txt.
Este é um ponto importante, se você tiver um arquivo robots.txt super pesado, e está além500KB, depois GoogleBot pode ficar confuso. Se GoogleBot fica confuso com o seurobots.txt, pode causar problemas sérios com a saúde do seu site nos resultados do Google.