Hay un plugin para Wordpress llamado Wordpress Crawl Rate Tracker Plugin, que te permite seguir la frecuencia de rastreo de cada url del blog entre otras cosas:
- Detecta los spiders de Google, Yahoo y Live.
- El tiempo que ha permanecido en la página
- Sigue la evolución del rastreo con el tiempo
- Puedes comprobar qué relación tiene la frecuencia de rastreo con el PageRank.
Se me ocurren algunas cosas más, como por ejemplo comprobar errores en las URLs, si rastrea la url que se muestra y luego la misma con parámetros u otras variaciones, qué secciones de tu blog son menos importantes, cómo afectan los enlaces a la frecuencia, o los cambios en la página, los enlaces internos, etc.
Un plugin muy interesante que ofrece tanto gráficas como listas de urls ordenadas por frecuencias de rastreo.
Via: adseok