Valida el robots.txt público

Solicita la URL pública exacta sin iniciar sesión:

https://example.com/robots.txt

Lista de comprobación de la respuesta

1. Confirma que la respuesta es 200 OK texto plano.
2. Compárala byte a byte con la política prevista.
3. Confirma que no hay HTML, página de inicio de sesión, advertencia ni cadena de redirecciones.
4. Abre todas las URL del sitemap.
5. Prueba a través del CDN, así como del origen, cuando sea posible.
6. Repite el proceso para los dominios asignados y los subsitios.

Utiliza la herramienta de validación que proporcione el servicio de búsqueda que le importe al sitio. POM Tweaks almacena y devuelve el texto, pero no simula analizadores de rastreadores individuales.

Diagnostica contenido inesperado

Si la respuesta no coincide:

• comprueba si hay un archivo físico en la raíz;
• inspecciona la caché del CDN o del servidor;
• identifica otro filtro robots_txt de WordPress;
• confirma que el módulo y su texto guardado están habilitados para el sitio actual;
• verifica que la solicitud llega al sitio multisitio previsto.

Un valor configurado vacío deja deliberadamente sin cambios la salida virtual anterior de WordPress.

Si el contenido guardado no está disponible, la salida virtual anterior también se conserva. Vuelve a abrir el editor, introduce las reglas previstas y guarda de nuevo antes de comprobar la respuesta pública.

Revertir

Desactiva Robots.txt, borra la respuesta en caché y vuelve a solicitar la URL. Confirma que vuelve el proveedor anterior de WordPress. Restaura o elimina por separado un archivo físico, porque el módulo nunca lo gestiona.