Bloquear el bot de archive.org a través de robots.txt | WordPress plugin

Hoy estamos contentos. Llevamos 20 plugins publicados en el repositorio oficial de plugins de WordPress. Desde que publicamos el primero hace algo más de 5 años ha llovido mucho pero seguimos compartiendo código que desarrollamos para nuestros clientes.

Block Archive.org via WordPress robots.txt

En esta ocasión hemos publicado un plugin que añade unas líneas al archivo robots.txt virtual creado por WordPress para bloquear los bots de archive.org. WordPress genera automáticamente un archivo robots.txt virtual si no existe un archivo con este nombre en la raíz del dominio.

Por favor, lee muy bien lo que este plugin hace exactamente: Si activas el plugin, añadirá algunas líneas al archivo robots.txt para indicar a los bots de Archive.org que no rastreen e indexen tu página. Esto significa que no almacenarán una copia de seguridad de tu sitio y que no podrás navegar por las diferentes versiones del sitio web a través del tiempo.

Ten en cuenta que si activas este plugin y tu sitio se elimina del índice de archive.org, no podrás deshacerlo. Si desinstalas el plugin el bot archive.org empezará de nuevo a rastrear e indexar la web, pero se habrá perdido toda la información más antigua. Ten cuidado y piensa si esto es lo que quieres hacer. Si la lías nadie podrá ayudarte (ni nosotros ni archive.org).

Por favor, active este plugin sólo si sabe lo que está haciendo.

¿Qué puedo hacer con este plugin?

Este plugin añade las líneas necesarias al archivo virtual robots.txt que WordPress crea automáticamente para bloquear los robots de archive.org.

¿En qué ideas se basa este plugin?

Ninguna. Necesitábamos una solución rápida para añadir estas líneas al archivo robots.txt y esta fue la solución que desarrollamos.

Requisitos del sistema

PHP versión 5.5 o superior.

Instalación

1. Primero tendrás que subir el plugin a la carpeta `/wp-content/plugins/`.
2. A continuación, activa el plugin en el panel de plugins. No hay ajustes.

Preguntas Frecuentes

¿Por qué habéis programado este plugin?

Hemos creado este plugin para poder añadir las líneas para bloquear los bots de archive.org a través de robots.txt sin tener que subir un archivo robots.txt al servidor.

¿El plugin hace cambios en la base de datos?

No. El plugin no escribe ninguna opción o configuración en la base de datos.

¿Cómo puedo comprobar si el plugin funciona correctamente?

Instalar y activar. Echa un vistazo al contenido del archivo robots.txt en la raíz del dominio.

¿Cómo puedo eliminar el plugin?

Puedes activarlo, desactivarlo o eliminarlo en la sección de gestión de plugins. No hay opciones que se guarden en la base de datos, por lo que puede eliminarse a través de FTP y todo lo relacionado con el plugin se eliminará.

¿Existen incompatibilidades conocidas?

Por favor, no lo uses con *WordPress MultiSite*, ya que no ha sido probado.

El plugin tiene una funcionalidad similar a la del plugin «Virtual Robots.txt» y «Better Robots.txt – Index, Rank & SEO booster», por lo que es mejor no utilizarlos juntos o probar si funcionan juntos sin problemas.

¿Qué pasa con mi sitio web en archive.org?

Si activas el plugin, añadirá algunas líneas al archivo robots.txt para indicar a los bots de Archive.org bots que NO rastreen e indexen tu página. Esto significa que no almacenarán una copia de seguridad de tu sitio y que no podrás navegar por las diferentes versiones del sitio web a través del tiempo. Si tu sitio está presente en Archive.org y activas este plugin, los robots de Archive.org no podrán acceder al sitio y al final lo eliminarán de su índice. Si esto no es lo que quiere hacer, no actives este plugin.

¿Qué pasa si hay un archivo físico robots.txt en el servidor?

Este plugin hace cambios al archivo virtual robots.txt generado automáticamente por WordPress y no funciona con un archivo físico robots.txt. Para poder usar este plugin necesitas eliminar el archivo físico robots.txt de su servidor. Por favor, elimina el archivo robots.txt a través de FTP o Server Panel antes de utilizar este plugin. Comprobamos esto en la activación. Si encontramos un archivo físico robots.txt al activar el plugin, éste no puede ser activado hasta que el archivo sea eliminado. Por favor, ten en cuenta que sólo lo comprobamos al activar el plugin y después de la activación ya no lo comprobamos; por lo tanto, si subes un archivo robots.txt a la raíz del dominio una vez activado el plugin, el plugin no tendrá ningún efecto, pero no recibirás ninguna advertencia.

¿Qué pasa si WordPress está instalado en un subdirectorio?

Por favor, ten en cuenta que el archivo robots.txt debe estar en el directorio de nivel superior de tu servidor web. Si WordPress está instalado en un subdirectorio, este plugin no será efectivo porque el archivo robots.txt generado por WordPress en el subdirectorio será ignorado por los buscadores. Por favor, ten en cuenta que no comprobamos esto. Puedes leer más sobre el estándar robots.txt aquí: robotstxt.org: Cómo crear un archivo /robots.txt y dónde ponerlo.

¿Qué versión de PHP necesito?

Este plugin ha sido probado y funciona con las versiones PHP 5.5 y superiores. WordPress recomienda usar la versión 7.2 o superior de PHP. Si utilizas una versión de PHP inferior a la 5.5, actualiza tu versión de PHP o ponte en contacto con el administrador de tu servidor.

¿Hay algún requisito del servidor?

Sí. El plugin requiere una versión de PHP 5.5 o superior y recomendamos usar la versión de PHP 7.1 o superior. El plugin ha sido probado con PHP hasta la versión 7.2.

¿Utilizáis el plugin?

Por supuesto que sí. Es por eso que lo creamos. 😉

 

Para cualquier problema, duda o ayuda que necesitéis, dejarnos un comentario aquí.