actualizado el 29/07/15
Seguramente has recibido en tu correo electrónico un correo de las Herramientas para Webmaster de Google, ahora llamada Google Search Console, que te avisa que “El robot de Google no puede acceder a los archivos CSS y JS de http://tusitio.es“, y claro, el susto es morrocotudo, no digamos si tienes varios sitios y has recibido unos cuantos mensajes de estos ¿verdad? Y sino los recibirás.
Pues bien, todo tiene su explicación, y sobre todo solución.
¿Por qué a Google le importan los archivos CSS y JS?
Es bien conocido por todos que lo que de verdad importa de una web es el contenido, entonces ¿a qué viene este interés repentino de Google por los archivos CSS y JS?
El caso es que, aunque Google es capaz de rastrear adecuadamente tu web sin cargar CSS y, sobre todo, sin necesidad de revisar cada JavaScript, la realidad es que cada vez se utiliza más CSS y plugins JavaScript que también gestionan y muestran contenido, no digamos para visualizaciones desde dispositivos móviles.
Además, Google gusta de analizar la “calidad” de las webs y su visualización para el usuario final, motivo por el cual también le importa, no solo el contenido en sí, sino también cómo se visualizará tu web de cara al usuario, y por ese motivo quiere tener “la foto completa” de tu web, y eso incluye el CSS y el JavaScript.
Es más ¿te suena algo la importancia de ofrecer tu web adaptada a móviles? pues eso.
¿Entendido?
¿Por qué Google no puede acceder a los archivos CSS y JS?
Sencillo, culpa tuya seguramente. Me explico …
Históricamente, las reglas recomendadas para el fichero robots.txt, ese que indica a Google qué rastrear y qué no, incluían el bloqueo de las carpetas internas de WordPress, aquellas que no tienen contenido sino que son de utilidad para el CMS. Lógicamente me refiero a wp-admin y wp-includes.
De este modo, el fichero robots.txt típico y básico de una instalación WordPress suele ser una cosa así:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
Y está bien bloquear la carpeta wp-admin ya que es como el sistema operativo de WordPress que gestiona la zona de administración, y ahí no hay nada que interese a Google y no debe aparecer en los resultados de búsqueda, pero no así la carpeta wp-includes pues ahí residen los ficheros JavaScript que contribuyen al renderizado de tu web, y su contenido.
En los avisos que se han estado recibiendo desde ayer la mayoría de los errores son de JS, pues no es tan habitual bloquear archivos CSS, pero hay que revisarlo todo.
Es más, no solo debes revisar las webs sobre las que hayas recibido avisos sino sobre todas las que tengas, para evitar errores de rastreo de Google.
¿Cómo hago para que Google pueda acceder a los archivos CSS y JS?
Lo primero es hacer caso al email de Google (más o menos) y pasarte por la Google Search Console para realizar estos 3 pasos:
- Revisar los recursos bloqueados
- Modificar el fichero robots.txt para que deje de bloquearlos
- Explorar, procesar y validar tu web desde el apartado “Explorar como Google” de la Search Console
¿Lo vemos?
1. Revisar los recursos bloqueados
Administra la web afectada – o no – y pásate por la sección denominada Índice de Google -> Recursos bloqueados. Ahí verás un gráfico y una lista de las páginas bloqueadas.
En la lista verás un poco de todo, pero debes centrarte en las URLs que apunten directamente a tu sitio web y hacer clic en esa línea para comprobar qué páginas estás bloqueado de tu sitio.
Solo te queda hacer clic en cualquiera de ellas para que Google te muestre qué acciones debes realizar, y en este caso, de las 3 opciones que te ofrece, debes ir directamente a la tercera, al Probador de robots.txt para comprobar qué estás bloqueando.
En la herramienta, situada en el menú Rastreo -> Probador de robots.txt de la Google Search Console, verás tu actual fichero robots.txt y convenientemente marcadas en rojo o amarillo los errores y advertencias. En este caso lo normal es encontrarse un error bien gordo en rojo que apunta a la carpeta /wp-includes/, que tu ya sabes que es de WordPress.
¿Cómo desbloqueo las páginas con errores? Pues vamos al segundo paso …
2. Modificar el fichero robots.txt para que deje de bloquearlos
Para eliminar los bloqueos obviamente tenemos que modificar el fichero robots.txt y tenemos varias maneras de hacerlo.
2.1 Modificar el fichero robots.txt manualmente
Si no tienes miedo a modificar archivos de tu servidor simplemente accede desde tu panel de alojamiento o mediante FTP y edita manualmente el archivos robots.txt que encontrarás en la carpeta raíz de tu sitio. Simplemente elimina la línea que bloquee los CSS y JS, normalmente esa que dice:
Disallow: /wp-includes/
Guardas los cambios y ya está.
2.2 Modificar el fichero robots.txt con plugins
Si prefieres usar plugins puedes ayudarte de un par de ellos. Por un lado está uno especializado llamado WP Robots.txt, que simplemente añade un editor de este archivo para que añadas o quites reglas a tu gusto. Creo que no hacer falta decirte qué tienes que quitar ¿no?
Guardas los cambios y arreando.
La otra posibilidad, que es la que casi seguro vas a utilizar, es valerte de la herramienta de editor de ficheros del celebérrimo plugin Yoast SEO, que seguramente tendrás ya instalado. En este caso el proceso es el siguiente:
- Vas a Herramientas -> Editor de archivos
- Si no tienes ya un fichero creado, o Yoast no lo detecta, le das al botón para crearlo
- Modificas el archivo eliminando lo que está bloqueando a Google y guardas los cambios
En realidad es fácil. Luego solo comprueba que tu fichero robots.txt se ha guardado correctamente accediendo a http://tusitio.es/robots.txt.
3. Explorar, procesar y validar tu web desde el apartado “Explorar como Google” de la Search Console
Hecho todo lo anterior solo queda validar tu web, pero antes no está de más comprobar que Google ya no muestra errores relacionados con el fichero robots.txt.
Para ello volveremos a la Google Search Console y nos pasamos por la sección Rastreo -> Probador de robots.txt para ver si ya se muestra el nuevo fichero y no hay errores. Puede que tarde un poco así que no te asustes si en un primer acceso no te muestra el nuevo.
Cuando ya tengamos la certeza de que no hay errores vamos al citado paso final de Explorar como Google para procesar y validar nuestra web.
La página en cuestión está en Rastreo -> Explorar como Google, y el proceso es el siguiente:
- Pulsamos el botón Obtener (o el de Obtener y procesar) para que Google explore nuestra web. Esto debemos hacerlo para cada una de las opciones del desplegable que hay justo antes del enorme botón rojo de Obtener, que son:
- Escritorio
- Móvil: smartphone
- Googlebot-Mobile: XHTML-WML
- Googlebot-Mobile: cHTML
- Esperamos unos segundos a que se realice el proceso en el listado inferior y pulsamos el botón que aparecerá denominado Enviar al índice.
Debes tener en cuenta que Google Search Console te permite solo 10 envíos al índice al mes así que no te emociones con esta herramienta.
Nada más, y nada menos. Con estos sencillos pasos Google ya podrá rastrear correctamente tu web. Eso sí, como te he dicho antes, no esperes a recibir un email de Google de estos para hacer la comprobación.
¿Que no usas aún la Google Search Console? pues ya estás tardando. No solo te permite comprobar y mejorar el SEO de tu web sino que te avisa de estos errores y otros muchos, algunos incluso relacionados con WordPress.
Hala, comparte esto para que otros también sepan como hacerlo y tira zumbando a la Google Search Console.
