John Google Mueller lembra os webmasters em sua página no Google + Google que tem um limite de apenas ser capaz de processar até 500 KB de seu arquivo robots.txt.
Este é um ponto importante, se você tiver um arquivo robots.txt super pesado, e está além500KB, depois GoogleBot pode ficar confuso. Se GoogleBot fica confuso com o seurobots.txt, pode causar problemas sérios com a saúde do seu site nos resultados do Google.
Nenhum comentário:
Postar um comentário