Nunca actives «Disuade a los motores de búsqueda de indexar este sitio»

Hoy os vamos a explicar porqué nunca debes de activar en WordPress: «Disuade a los motores de búsqueda de indexar este sitio» en AJUSTES / LECTURA.

Cómo destruir el SEO de tu WordPress marcando una «inofensiva» casilla

La casilla «Disuade a los motores de búsqueda de indexar este sitio», que parece inofensiva, si la marcamos en una web en un entorno de desarrollo y al mover la web a producción no la desactivamos, destruirá el SEO de esa web. Porque con esta casilla le estamos diciendo a los buscadores que NO queremos que indexen la página y que NO queremos aparecer en sus resultados.

Visibilidad en los motores de búsqueda: Si marcas esta casilla destruyes el SEO de tu sitio

Más bien la descripción de la casilla debería de ser esta:

Cómo destruir el SEO de tu WordPress marcando una "inofensiva" casilla

«Disuade a los motores de búsqueda de indexar este sitio» es una opción de la casilla de verificación en el área Configuración > Lectura de la administración de WordPress y es importante entender qué significa exactamente. Para los no técnicos esta casilla significa:

  • «Destruye el SEO de este sitio nuevo hasta que se desactive.»
  • «Haz que este sitio no aparezca en la búsqueda de Google.»

Con más detalle: Al marcar esta casilla, se indica a los motores de búsqueda que eviten por completo inspeccionar el contenido del sitio, lo que significa que el sitio no aparecerá en los resultados de búsqueda (y si ya estaba incluido en los resultados de búsqueda, se eliminará).

La razón por la que esta función existe es para evitar que un sitio que no debería aparecer en la búsqueda sea encontrado por los motores de búsqueda. Tal vez el ejemplo más común es un sitio que está en desarrollo pero que aún no está listo para mostrar al público; pero para esto hay soluciones mejores como veremos más adelante.

¿Por qué nunca debes usar esa casilla?

Nunca se debería de activar por dos razones:

  1. La primera porque es muy fácil olvidarnos de deshabilitar la opción cuando hayamos movido la web a producción. Si no lo quitamos, los buscadores empezarán a eliminar las páginas de su índice.
  2. Y la segunda es porque si la web se está creando en un dominio nuevo, Google puede haber pasado por esa web y haber visto que el robots.txt le indica que no la debe indexar. Cuando se lanza la web y se deshabilita esta opción, Google no coge inmediatamente el cambio sino que suele tardar días en detectar el nuevo robots.txt y en indexar la web. Muchas veces esos días los necesitamos.

Google: Resulado en el buscador de un dominio bloqueado por robots.txt

¿Qué hacer en vez de activar «Disuade a los motores de búsqueda de indexar este sitio»?

Lo mejor es instalar un plugin de mantenimiento web. Si la web en desarrollo no está en el dominio definitivo, siempre activamos que el plugin a los buscadores les muestre un código 503: Service Unavailable – El servidor no puede responder a la petición del navegador porque está congestionado o está realizando tareas de mantenimiento.

Plugin Mantenimiento: Activar error servidor 503 para los buscadores

El plugin que utilizamos es Maintenance de fruitfulcode. Sencillo y con pocas opciones pero que hace lo que queremos. Lo importante es que no funcionan los plugins de Google Analytics mientras esté activo y hay que configurar el código de Analytics en el propio plugin de mantenimiento:

Plugin Mantenimiento: Añadir código de Google Analytics

Cómo saber si tu web tiene activada la opción para disuadir los buscadores

Si sólo gestionas un sitio de WordPress comprueba el área «De un vistazo» del panel de administración para asegurarte de que no aparece el texto «Motores de búsqueda disuadidos» como en el siguiente pantallazo:

Motores de búsqueda disuadidos - Escritorio de WordPress

Si quieres comprobarlo sin iniciar sesión en la administración de WordPress, solo hay que acceder al archivo robots.txt del dominio. Para ello simplemente escribimos el nombre del dominio seguido de /robots.txt en el navegador.

«Disuade a los motores de búsqueda de indexar este sitio» lo único que hace es cambiar el archivo robots.txt en la raíz de una instalación de WordPress.

Si el resultado es como el siguiente los motores de búsqueda estarán disuadidos:

ROBOTS.TXT: Motores de búsqueda disuadidos

Y si el resultado es similar al siguiente no estarán disuadidos:

ROBOTS.TXT: Motores de búsqueda NO disuadidos

Plugin «Search engines blocked warning»

Nosotros hemos creado un plugin que muestra un aviso en la barra superior de la administración de WordPress avisando cuando está activa la opción de «disuadir motores de búsqueda». Se puede encontrar en el repositorio oficial de WordPress buscando por: Search engines blocked warning.

arch engines blocked warning

Es una buena idea instalarlo porque así seguro que no se nos olvida que tenemos esa opción activada. WordPress lo muestra solo en el escritorio y no muy destacado. Aquí siempre se ve que la opción la tenemos activada.

Cambios en la forma de disuadir los buscadores de indexar un WordPress

Con la versión 5.3 de WordPress se introdujeron cambios importantes a la hora de evitar que un buscador indexe un WordPress.

Estos cambios tienen por objeto disuadir a los motores de búsqueda de incluir un sitio en la lista, en lugar de impedirles que rastreen el sitio.

En versiones anteriores de WordPress a la 5.3 se añadia el «Disallow: /» al archivo robots.txt para evitar que los motores de búsqueda rastrearan el sitio.

Las webs con la opción «Disuade a los motores de búsqueda de indexar este sitio» activada ahora incluyen en cada página una metaetiqueta robots para evitar que el sitio aparezca en los motores de búsqueda: <name=’robots’ content=’noindex,nofollow’ />.

Esta metaetiqueta solicita a los motores de búsqueda que excluyan la página de la indexación y los disuade de seguir rastreando el sitio web.

No obstante WordPress también recalca que el método más efectivo para excluir webs en desarrollo de ser indexadas por los motores de búsqueda es incluir un encabezado HTTP Header X-Robots-Tag: noindex, nofollow tanto para las páginas como para cualquier archivo (imágenes, PDFs, vídeos, etc).

 

No solo somos profesionales del Marketing en Internet, somos Apasionados del Marketing en Internet.

Esta entrada tiene 3 comentarios

  1. Daniel

    Buenos días,
    En mi caso marqué la casilla al principio de crear el contenido para mi sitio web con la intención de demarcarlo al cabo de unas semanas.

    El problema es que ahora lo he desmarcado pero el robots.txt sigue igual, como si aún estuviera marcado:

    User-agent : *
    Disallow: /

    Como lo puedo revertir?

    Muchas gracias,

    1. Apasionados

      Hola Daniel. Lo primero que haría es comprobar por FTP si existe un archivo robots.txt en el directorio raíz del servidor. WordPress genera un archivo robots.txt virtual pero si encuentra un archivo «real» en el directorio raíz, sus ajustes no se aplican.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.