Escribir reglas para el rastreador

El campo Robots.txt acepta la respuesta completa en texto plano. POM Tweaks no combina líneas individuales con el valor predeterminado de WordPress, no valida la sintaxis del rastreador ni añade un sitemap automáticamente.

Parte de una política explícita

Un ejemplo mínimo para un sitio público es:

User-agent: *
Disallow:
Sitemap: https://example.com/wp-sitemap.xml

Sustituye la URL del sitemap y las reglas por las del sitio real. No copies una política de staging en producción.

Límites importantes

• robots.txt es una solicitud de rastreo, no un control de acceso.
• Una URL no permitida puede seguir descubriéndose o indexarse a partir de otras señales.
• El contenido privado requiere permisos de WordPress, autenticación y protección del servidor.
• Los rastreadores interpretan las rutas, por lo que el idioma del sitio y la estructura de subdirectorios importan.
• Un error de sintaxis puede cambiar la forma en que un rastreador interpreta el resto del archivo.

Guarda de forma segura

1. Copia la respuesta pública actual.
2. Identifica al propietario de cada regla existente.
3. Introduce el texto de sustitución completo.
4. Usa URLs de sitemap absolutas.
5. Guarda el módulo.
6. Purga cualquier CDN o caché de página para /robots.txt.
7. Ejecuta la validación pública.

Para una red multisitio, configura y prueba el nombre de host y la ruta del sitio actual de forma independiente.