Nunca actives «Disuade a los motores de búsqueda de indexar este sitio»

Hoy os vamos a explicar porqué nunca debes de activar en WordPress: «Disuade a los motores de búsqueda de indexar este sitio» en AJUSTES / LECTURA.

Cómo destruir el SEO de tu WordPress marcando una «inofensiva» casilla

La casilla «Disuade a los motores de búsqueda de indexar este sitio», que parece inofensiva, si la marcamos en una web en un entorno de desarrollo y al mover la web a producción no la desactivamos, destruirá el SEO de esa web. Porque con esta casilla le estamos diciendo a los buscadores que NO queremos que indexen la página y que NO queremos aparecer en sus resultados.

Más bien la descripción de la casilla debería de ser esta:

«Disuade a los motores de búsqueda de indexar este sitio» es una opción de la casilla de verificación en el área Configuración > Lectura de la administración de WordPress y es importante entender qué significa exactamente. Para los no técnicos esta casilla significa:

• «Destruye el SEO de este sitio nuevo hasta que se desactive.»
• «Haz que este sitio no aparezca en la búsqueda de Google.»

Con más detalle: Al marcar esta casilla, se indica a los motores de búsqueda que eviten por completo inspeccionar el contenido del sitio, lo que significa que el sitio no aparecerá en los resultados de búsqueda (y si ya estaba incluido en los resultados de búsqueda, se eliminará).

La razón por la que esta función existe es para evitar que un sitio que no debería aparecer en la búsqueda sea encontrado por los motores de búsqueda. Tal vez el ejemplo más común es un sitio que está en desarrollo pero que aún no está listo para mostrar al público; pero para esto hay soluciones mejores como veremos más adelante.

¿Por qué nunca debes usar esa casilla?

Nunca se debería de activar por dos razones:

1. La primera porque es muy fácil olvidarnos de deshabilitar la opción cuando hayamos movido la web a producción. Si no lo quitamos, los buscadores empezarán a eliminar las páginas de su índice.
2. Y la segunda es porque si la web se está creando en un dominio nuevo, Google puede haber pasado por esa web y haber visto que el robots.txt le indica que no la debe indexar. Cuando se lanza la web y se deshabilita esta opción, Google no coge inmediatamente el cambio sino que suele tardar días en detectar el nuevo robots.txt y en indexar la web. Muchas veces esos días los necesitamos.

¿Qué hacer en vez de activar «Disuade a los motores de búsqueda de indexar este sitio»?

Lo mejor es instalar un plugin de mantenimiento web. Si la web en desarrollo no está en el dominio definitivo, siempre activamos que el plugin a los buscadores les muestre un código 503: Service Unavailable – El servidor no puede responder a la petición del navegador porque está congestionado o está realizando tareas de mantenimiento.

El plugin que utilizamos es Maintenance de fruitfulcode. Sencillo y con pocas opciones pero que hace lo que queremos. Lo importante es que no funcionan los plugins de Google Analytics mientras esté activo y hay que configurar el código de Analytics en el propio plugin de mantenimiento:

Cómo saber si tu web tiene activada la opción para disuadir los buscadores

Si sólo gestionas un sitio de WordPress comprueba el área «De un vistazo» del panel de administración para asegurarte de que no aparece el texto «Motores de búsqueda disuadidos» como en el siguiente pantallazo:

Si quieres comprobarlo sin iniciar sesión en la administración de WordPress, solo hay que acceder al archivo robots.txt del dominio. Para ello simplemente escribimos el nombre del dominio seguido de /robots.txt en el navegador.

«Disuade a los motores de búsqueda de indexar este sitio» lo único que hace es cambiar el archivo robots.txt en la raíz de una instalación de WordPress.

Si el resultado es como el siguiente los motores de búsqueda estarán disuadidos:

Y si el resultado es similar al siguiente no estarán disuadidos:

Plugin «Search engines blocked warning»

Nosotros hemos creado un plugin que muestra un aviso en la barra superior de la administración de WordPress avisando cuando está activa la opción de «disuadir motores de búsqueda». Se puede encontrar en el repositorio oficial de WordPress buscando por: Search engines blocked warning.

Es una buena idea instalarlo porque así seguro que no se nos olvida que tenemos esa opción activada. WordPress lo muestra solo en el escritorio y no muy destacado. Aquí siempre se ve que la opción la tenemos activada.

Cambios en la forma de disuadir los buscadores de indexar un WordPress

Con la versión 5.3 de WordPress se introdujeron cambios importantes a la hora de evitar que un buscador indexe un WordPress.

Estos cambios tienen por objeto disuadir a los motores de búsqueda de incluir un sitio en la lista, en lugar de impedirles que rastreen el sitio.

En versiones anteriores de WordPress a la 5.3 se añadia el «Disallow: /» al archivo robots.txt para evitar que los motores de búsqueda rastrearan el sitio.

Las webs con la opción «Disuade a los motores de búsqueda de indexar este sitio» activada ahora incluyen en cada página una metaetiqueta robots para evitar que el sitio aparezca en los motores de búsqueda: <name=’robots’ content=’noindex,nofollow’ />.

Esta metaetiqueta solicita a los motores de búsqueda que excluyan la página de la indexación y los disuade de seguir rastreando el sitio web.

No obstante WordPress también recalca que el método más efectivo para excluir webs en desarrollo de ser indexadas por los motores de búsqueda es incluir un encabezado HTTP Header X-Robots-Tag: noindex, nofollow tanto para las páginas como para cualquier archivo (imágenes, PDFs, vídeos, etc).