¿Cuál es el mejor crawler SEO en 2026?

El que rastrea todas las URL de tu web sin tumbar tu ordenador ni tu presupuesto. Para una persona, de 0 € a unos 3 600 € al año.

Un crawler SEO (o araña de rastreo) recorre tu web enlace a enlace, igual que Googlebot, y te dice qué falla: errores 404, cadenas de redirecciones, páginas bloqueadas para la indexación, etiquetas canonical que se contradicen, títulos duplicados y páginas enterradas a seis clics de la portada. Toda auditoría SEO técnica empieza por aquí.

La respuesta rápida: Screaming Frog sigue siendo la referencia para casi cualquier web, por 199 £ al año y usuario. Sitebulb encaja si entregas auditorías a clientes y quieres los errores priorizados y explicados. SEOcrawl, la opción española, junta rastreo y seguimiento en la nube desde 49 € al mes. JetOctopus toma el relevo a partir de medio millón de URL. Si ya pagas Ahrefs o Semrush, su auditoría suele bastar para un control mensual. Y Seobility es la más sencilla para una pyme.

Lo que decide de verdad es el tamaño: 500 URL, 10 000, 100 000 o más de un millón. Cada escalón pide otra herramienta, y así está organizada esta página.

Romain CochardCEO de Hack'celeration
Actualizado 20267crawlers SEO clasificados4tamaños de web, de menos de 500 a más de 500 000 URL30días de prueba en SEOcrawl, la más larga de la lista

La clasificación es editorial: una posición patrocinada siempre se indica en su ficha, y ningún enlace de afiliado cambia una nota.

De un vistazo

Los 7 crawlers SEO comparados

La clasificación completa. La columna «coste anual por usuario» indica lo que paga una sola persona en doce meses con el primer plan que de verdad sirve para auditar una web. Los editores británicos cobran en libras y el resto en euros o dólares: respetamos la moneda de cada uno.

Mejor paraCoste anual por usuarioPlan gratisTamaño del equipoVer
1Screaming FrogMejor crawler de escritorio199 £ al año (un usuario)4.5/5Gratis (500 URL), licencia 199 £/año✓Freelance, agencia y equipo SEO internoVer →
2SitebulbMejor auditoría guiadaLicencia anual Lite o Pro (15 % menos en anual)4.3/5Prueba Pro 14 días, Cloud desde 95 £/mes—Consultores y agencias que entregan informes a clientesVer →
3SEOcrawlMejor opción española en la nube396 € al año en Starter anual (33 € al mes)3.9/5Starter 49 €/mes, 33 € en anual—Agencia, freelance y equipo de marketing en España o LatinoaméricaVer →
4JetOctopusMejor para webs muy grandes3 588 € al año en Growth (299 € al mes)4.0/5Growth 299 €/mes, prueba 7 días—Tiendas online, medios y marketplaces con más de 500 000 URLVer →
5Ahrefs Site AuditMejor auditoría gratis para tus webs0 € con Ahrefs Free (5000 créditos de rastreo al mes por proyecto)4.2/5Ahrefs Free 0 €, Lite 119 €/mes✓Propietarios de webs, pymes y usuarios de AhrefsVer →
6Semrush Site AuditMejor si ya pagas SemrushUnos 1408 $ al año en SEO anual (117,33 $ al mes)4.2/5Free 0 $, SEO 139 $/mes✓Equipos de marketing que ya usan SemrushVer →
7SeobilityLa más sencilla para una pyme575,04 € al año en Premium (25 000 páginas por rastreo)3.8/5Basic gratis (100 páginas), Premium 59,90 €/mes✓Pymes, autónomos, webs corporativas y tiendas pequeñasVer →

Ahrefs y Semrush mantienen la nota y los precios de su reseña Labs. El resto de precios sale de las páginas oficiales de cada editor, en 2026, sin impuestos.

¿Tu herramienta no está en esta página? Escríbenos: hello@hackceleration.com

Nuestro método

Cómo hemos comparado y puntuado

En español, los primeros resultados para «mejor crawler SEO» son casi todos páginas de los propios editores, que se ponen en primer lugar, o guías centradas en una sola herramienta. Pocos dan precios en euros, y ninguno te dice qué crawler aguanta 100 000 URL ni cuánta memoria RAM necesitas.

Hemos leído las tarifas oficiales, los límites de URL por auditoría, la documentación sobre memoria y almacenamiento y cientos de opiniones de usuarios, sobre todo las negativas. Cada precio se convierte en un coste anual por usuario. Safecont, otro editor español, no entra en la clasificación porque no hemos encontrado precios públicos. Oncrawl, Botify y Lumar trabajan bajo presupuesto para grandes cuentas: los verás en la guía por tamaño de web.

Las funcionalidades y la relación calidad-precio son lo que más pesa. Un crawler se juzga por lo que encuentra en tu web y por lo que te cuesta cuando la web crece.

  1. Facilidad de usoLanzar un primer rastreo y entender las prioridades sin leer la documentación.
    15 %
  2. Relación calidad-precioCoste anual por usuario, URL por auditoría, cuotas mensuales y precio de un usuario extra.
    30 %
  3. Funcionalidades y profundidadRenderizado JavaScript, extracción personalizada, logs, volumen soportado y comparación entre rastreos.
    35 %
  4. Soporte al cliente y acompañamientoRespuesta del soporte, documentación y política de reembolso.
    10 %
  5. Integraciones disponiblesSearch Console, Analytics, API y exportación a hojas de cálculo o paneles.
    10 %
7herramientas clasificadas
4herramientas sin precio público, fuera de la clasificación
2026año de las tarifas

Ningún enlace de afiliado cambia una nota o una posición.

1
Mejor crawler de escritorio

Screaming Frog

4.5/5

Screaming Frog SEO Spider es el crawler que tiene instalado casi cualquier SEO técnico. Funciona en Windows, Mac y Linux, rastrea tu web desde tu ordenador y en pocos minutos te saca los 404, las redirecciones, las canonical, los títulos y meta descripciones duplicados, las páginas con noindex y la profundidad de cada URL. Con la extracción personalizada (sacar de cada página un precio, un autor o un dato estructurado) y el renderizado JavaScript, también sirve para revisar una web antes de publicarla.

El precio es de lo más claro del mercado: 199 £ al año por usuario, con descuento a partir de cinco licencias. Solo se paga en libras y por año, sin opción mensual. La versión gratis se queda en 500 URL por rastreo: vale para una web corporativa pequeña, no para una tienda online. La licencia de pago no tiene tope de URL: el límite real es la RAM y el disco de tu equipo. Con almacenamiento en base de datos caben unos 2 millones de URL con 4 GB asignados; en modo memoria, unas 200 000 URL con 8 GB.

Lo que critican los usuarios: una interfaz anticuada, una curva de aprendizaje dura, exportaciones lentas y cierres inesperados por encima del millón de URL. En tiendas grandes, algunas agencias cuentan que empieza a pesar entre 30 000 y 50 000 URL si el ordenador va justo. Y cuidado: cuando caduca la licencia vuelves a la versión gratis y ya no puedes abrir tus rastreos guardados. Hay reembolso en los primeros 14 días.

Truco: antes de un rastreo grande, cambia al almacenamiento en base de datos sobre un SSD. A partir de 100 000 URL, hay equipos que lo ejecutan en un servidor alquilado con mucha RAM y luego se descargan el archivo del rastreo.

Destacados
  • Sin tope de URL en la licencia
  • Extracción personalizada y JavaScript
  • Precio fijo al año
+Ventajas
  • ✓199 £ al año, la mejor relación potencia-precio
  • ✓Windows, Mac y Linux
  • ✓Exportación fácil a hojas de cálculo
−Inconvenientes
  • ✗Depende de la RAM de tu ordenador
  • ✗Interfaz técnica para empezar
  • ✗Rastreos bloqueados al caducar
Veredicto

El primer crawler que conviene comprar en casi todos los casos. Por encima de unos cientos de miles de URL, o si necesitas seguimiento automático, compleméntalo con una herramienta en la nube.

Ver la licencia de Screaming Frog →
2
Mejor auditoría guiada

Sitebulb

4.3/5

Sitebulb rastrea como Screaming Frog, pero no te deja solo ante una tabla de 80 columnas. Cada problema llega con su prioridad, una explicación y la lista de URL afectadas. Por eso gusta tanto a los consultores: los informes se enseñan tal cual al cliente, y los gráficos de enlazado interno los entiende alguien que nunca ha abierto un crawler.

Hay tres versiones. Lite, para un usuario, llega a 10 000 URL por auditoría. Pro sube a 500 000 URL por auditoría, hasta 2 millones con un equipo potente, y admite de 1 a 50 usuarios, desde 7 £ al mes por cada usuario extra. La versión Cloud, para equipos y webs grandes, empieza en 95 £ al mes y puede superar las 20 000 £ al año en equipos grandes. El pago anual ahorra un 15 %. La web del editor no muestra directamente el importe de Lite y Pro: lo más práctico es activar la prueba Pro de 14 días, sin tarjeta, y ver el precio en tu cuenta.

Las pegas: la extracción personalizada se queda por detrás de Screaming Frog, el arranque a veces falla y los rastreos grandes con JavaScript consumen mucha RAM en equipos antiguos. En Windows, cuenta con 4 GB como mínimo y 8 GB para ir cómodo.

Truco: Lite basta mientras tu web más grande esté por debajo de 10 000 URL. Deja Pro para cuando llegue un cliente con tienda online; la prueba gratis suele cubrir esa primera auditoría.

Destacados
  • Problemas priorizados y explicados
  • Informes listos para el cliente
  • Escritorio y nube
+Ventajas
  • ✓La más didáctica de la lista
  • ✓Hasta 500 000 URL por auditoría en Pro
  • ✓Prueba de 14 días sin tarjeta
−Inconvenientes
  • ✗Precio de Lite y Pro poco visible antes de la prueba
  • ✗Extracción personalizada más limitada
  • ✗Mucha RAM en rastreos grandes con JavaScript
Veredicto

La mejor opción si otra persona tiene que entender tu auditoría. Si prefieres ajustarlo todo a mano, Screaming Frog es más flexible.

Ver los planes de Sitebulb →
3
Mejor opción española en la nube

SEOcrawl

3.9/5

SEOcrawl es una herramienta española en la nube. No instalas nada: lanzas los rastreos desde el navegador y sigues la evolución de tus proyectos con el tiempo. Para un equipo que trabaja en español, tener la interfaz y la documentación en su idioma ahorra mucha fricción, sobre todo cuando el informe lo va a leer un cliente.

Los precios están publicados y se cuentan en rastreos al mes, no en URL. Starter cuesta 49 € al mes, o 33 € en anual (396 € al año), con 25 rastreos al mes. Growth sube a 99 € (66 € en anual) con 100 rastreos, Pro a 199 € (133 €) con 400 y Agency a 399 € (266 €) con 1 000. La prueba dura 30 días, la más larga de esta lista.

Dos cosas que conviene saber. La página de precios no indica cuántas URL entran en cada rastreo, así que pregúntalo antes de pagar si tu web es grande. Y la prueba pasa a pago de forma automática, sin reembolso por defecto.

Truco: apunta en tu calendario el día 28 de la prueba. Así tienes dos días para decidir antes de que se cobre la primera cuota.

Destacados
  • Herramienta española en la nube
  • Prueba de 30 días
  • Precios públicos en euros
+Ventajas
  • ✓Nada que instalar
  • ✓Prueba larga para decidir con calma
  • ✓Descuento fuerte en anual
−Inconvenientes
  • ✗URL por rastreo no indicadas
  • ✗Prueba que pasa a pago sola
  • ✗Sin reembolso por defecto
Veredicto

Una buena opción para un equipo que trabaja en español y quiere la nube. Confirma el límite de URL por rastreo antes de comprometerte con una web grande.

Ver los planes de SEOcrawl →
4
Mejor para webs muy grandes

JetOctopus

4.0/5

JetOctopus es un crawler en la nube hecho para el volumen. No hay que instalar nada ni dejar el portátil encendido toda la noche: el rastreo se lanza desde el navegador y aguanta millones de URL. También analiza los logs del servidor (el registro de cada visita que recibe tu web, bots incluidos) y los cruza con el rastreo.

Es de las pocas herramientas de este nivel con precios públicos. Growth cuesta 299 € al mes con tarifa reducida (399 € si no) por 500 000 URL al mes y 2 millones de líneas de logs: 3 588 € al año. Pro sube a 699 € (949 €) por 2 millones de URL y Ultra a 1 359 € (1 799 €) por 5 millones. La prueba dura 7 días, con 10 000 URL y sin tarjeta.

La pega: la entrada multiplica varias veces el precio de una licencia de Screaming Frog, y la página de precios se contradice en las líneas de logs de Pro y Ultra. Pide la cifra por escrito antes de firmar. La cuota es mensual: una web de un millón de URL no se rastrea entera con Growth.

Truco: calcula la duración antes de elegir. Un millón de URL a 1,5 segundos cada una con 5 hilos en paralelo son decenas de horas de rastreo. Justo ahí la nube compensa lo que cuesta.

Destacados
  • Millones de URL sin equipo propio
  • Rastreo y logs cruzados
  • Precios públicos a gran escala
+Ventajas
  • ✓Aguanta webs enormes
  • ✓Nada que instalar
  • ✓Prueba de 7 días sin tarjeta
−Inconvenientes
  • ✗Desde 299 € al mes
  • ✗Cuota mensual de URL
  • ✗Límites de logs contradictorios
Veredicto

La opción para webs grandes que quieren un precio claro. Por debajo de 500 000 URL, pagas más de lo que vas a usar.

Ver los planes de JetOctopus →
5
Mejor auditoría gratis para tus webs

Ahrefs Site Audit

4.2/5

Site Audit es el crawler de Ahrefs. Funciona en la nube, repite las auditorías de forma programada, ordena los problemas por gravedad y guarda el historial para comprobar si una corrección ha funcionado. Su punto fuerte poco conocido es la versión gratis: con Ahrefs Free tienes 5000 créditos de rastreo al mes por proyecto, siempre que verifiques que la web es tuya.

Esos créditos rinden más de lo que parece. Solo consumen las páginas HTML internas que responden con un 200. Las redirecciones, los errores, las imágenes, los archivos CSS y JavaScript y los enlaces externos no cuentan. Una web de 4000 páginas con muchas redirecciones cabe sin problema. Los mismos créditos vienen en todos los planes de pago, desde Starter, por unos 27 € al mes.

El límite: lo gratis solo vale para tus propias webs. Para auditar la web de un cliente potencial o de la competencia necesitas un plan de pago, y Lite ya cuesta 119 € al mes. La extracción personalizada también queda muy por detrás de Screaming Frog.

Truco: verifica todas tus webs en la misma cuenta gratis, un proyecto por web. Cada proyecto tiene sus 5000 créditos al mes.

Destacados
  • 5000 páginas gratis al mes por proyecto
  • Redirecciones y errores no gastan créditos
  • Rastreos programados en la nube
+Ventajas
  • ✓Gratis en webs verificadas
  • ✓Historial para seguir las correcciones
  • ✓Datos de enlaces de Ahrefs al lado
−Inconvenientes
  • ✗Gratis solo para tus webs
  • ✗Lite a 119 € al mes para lo demás
  • ✗Extracción personalizada limitada
Veredicto

Lo primero que debes activar en tus propias webs, porque no cuesta nada. Para webs de clientes, un crawler dedicado sale más barato.

Ver los planes de Ahrefs →Leer nuestra reseña de Ahrefs
6
Mejor si ya pagas Semrush

Semrush Site Audit

4.2/5

Site Audit es el crawler de Semrush. Rastrea tu web desde la nube, separa los hallazgos en errores, avisos y observaciones, y te da una puntuación de salud fácil de seguir mes a mes. Para un equipo de marketing que ya trabaja con Semrush, muchas veces es el único crawler que necesita.

El problema son las cuotas. Sin suscripción, la auditoría se para en 100 páginas. Los planes de entrada dan 20 000 páginas por auditoría y 100 000 al mes, sin renderizado JavaScript. El JavaScript llega con Guru y Pro+, también con 20 000 páginas por auditoría pero 300 000 al mes. Para 100 000 páginas por auditoría y un millón al mes hace falta Business o Advanced. El contador vuelve a cero el día 1 y no se acumula.

En precio, el plan SEO cuesta 139 $ al mes, o 117,33 $ en anual: unos 1408 $ al año. Es varias veces una licencia de Screaming Frog para una auditoría que no ve el JavaScript en el plan de entrada. A cambio, también pagas la investigación de palabras clave, el seguimiento de posiciones y el análisis de la competencia.

Truco: si tu web está hecha con React o Vue, no te fíes de la auditoría del plan de entrada. Sin renderizado puede saltarse enlaces y contenidos que solo aparecen al ejecutar el script.

Destacados
  • Puntuación de salud a lo largo del tiempo
  • Problemas ordenados por gravedad
  • Incluido en tu plan de Semrush
+Ventajas
  • ✓Nada que instalar
  • ✓Auditorías programadas cada semana
  • ✓Palabras clave y competencia en la misma cuenta
−Inconvenientes
  • ✗20 000 páginas por auditoría en los planes de entrada
  • ✗Sin JavaScript en los planes de entrada
  • ✗Caro si solo quieres el crawler
Veredicto

Perfecto si Semrush ya está pagado. Comprado solo por su crawler, cuesta demasiado para lo que hace.

Ver los planes de Semrush →Leer nuestra reseña de Semrush
7
La más sencilla para una pyme

Seobility

3.8/5

Seobility es una herramienta alemana en la nube pensada para quien no es especialista. La auditoría te da una lista de tareas por orden de importancia, cada una con una explicación corta, y repite el rastreo de forma automática. Los usuarios destacan la rapidez del soporte y lo claros que son los informes.

El plan Basic gratis rastrea 100 páginas en un proyecto: suficiente para una web corporativa pequeña. Premium cuesta 59,90 € al mes sin IVA (575,04 € al año) por 25 000 páginas por rastreo y 3 proyectos. Professional, a 99,90 €, sube a 50 000 páginas y 7 proyectos, y Agency, a 209,90 €, a 100 000 páginas y 20 proyectos. Los precios subieron en 2026: Premium pasó de 49,90 € a 59,90 €. La prueba dura 14 días, pero pide un medio de pago.

Las críticas: límites de proyectos estrictos, rastreo lento en webs grandes, informes poco personalizables y un precio que pesa para una empresa muy pequeña. Un SEO técnico se sentirá limitado.

Truco: el día que empiezas la prueba, apunta la fecha de fin. Si no cancelas antes, el cobro empieza en la tarjeta ya registrada.

Destacados
  • Tareas ordenadas por prioridad
  • Gratis hasta 100 páginas
  • Soporte rápido
+Ventajas
  • ✓Los informes más fáciles de leer
  • ✓Rastreo automático programado
  • ✓Precios públicos en euros
−Inconvenientes
  • ✗Solo 100 páginas gratis
  • ✗Lento en webs grandes
  • ✗Informes poco personalizables
Veredicto

Buena opción para una pyme que quiere saber qué corregir primero. Si tu web pasa de 25 000 páginas, busca otra cosa.

Ver los planes de Seobility →
Elegir según tu web

El crawler adecuado según el tamaño de tu web

El número de URL lo decide casi todo. Compruébalo antes de comprar: el informe de indexación de Search Console o tu sitemap te dan una primera cifra, y un primer rastreo gratis te da la real, a menudo de dos a cinco veces mayor por culpa de parámetros y filtros.

Menos de 500 URL

La versión gratis de Screaming Frog es suficiente, y Ahrefs Free audita tus propias webs hasta 5000 páginas al mes. No hace falta pagar.

De 500 a 10 000 URL

Screaming Frog por 199 £ al año, o Sitebulb Lite si quieres informes guiados. Si prefieres la nube y trabajar en español, SEOcrawl Starter.

De 10 000 a 500 000 URL

Screaming Frog con almacenamiento en base de datos sobre un SSD, o Sitebulb Pro. Cuenta con 8 GB de RAM como mínimo.

Más de 500 000 URL

La nube se vuelve necesaria: JetOctopus con precios públicos, u Oncrawl, Botify y Lumar bajo presupuesto. Botify anuncia hasta 50 millones de URL por rastreo. Muchos equipos mantienen Screaming Frog para comprobaciones rápidas.
  • Cuenta tus URL reales con un primer rastreo gratis.
  • Revisa la RAM de tu ordenador antes de comprar un crawler de escritorio.
  • Compara el HTML sin procesar y el renderizado en una página antes de activar JavaScript.
  • Pide a tu hosting acceso a los logs si vas a usar JetOctopus.
  • Calcula el coste para todo el equipo, no para una persona.
  • Apunta la fecha de fin de cada prueba gratis.
Ajustes de campo

Seis ajustes que mejoran cualquier rastreo

Los mismos problemas se repiten en las opiniones de usuarios: un rastreo que hace que bloqueen tu IP, un ordenador que se cuelga a las 300 000 URL, un informe inflado de falsos duplicados. Esto es lo que funciona, sea cual sea la herramienta.

01

Ajusta la velocidad a tu hosting

Cortesía

Screaming Frog lanza 5 hilos en paralelo por defecto. En un hosting compartido, eso basta para ralentizar la web o hacer que bloqueen tu IP. Baja a 2 o 3 peticiones por segundo en una web frágil y vigila el tiempo de respuesta durante el rastreo: si sube, frena.

Web frágil
2 o 3 peticiones por segundo
02

Excluye lo que no pinta nada en la auditoría

Volumen

El carrito, el buscador interno, los parámetros de ordenación y las respuestas a comentarios multiplican las URL sin aportar nada. Exclúyelos con una expresión regular antes de empezar. En una tienda online, el rastreo suele quedarse en la mitad.

Excluir
Carrito, buscador, ordenación
03

Decide antes qué haces con las páginas noindex

Duplicados

Si rastreas las páginas con noindex, los títulos y descripciones duplicados se inflan con páginas que Google no va a indexar. Decídelo antes de lanzar y mantén el mismo ajuste entre auditorías para poder comparar.

Regla
El mismo ajuste en cada auditoría
04

Compara HTML y renderizado antes de activar JavaScript

Renderizado

El renderizado JavaScript ralentiza mucho el rastreo y, en la nube, se come tu cuota: según la herramienta, rastreas de tres a cinco veces menos páginas. Abre una página tipo con y sin renderizado. Si el contenido y los enlaces ya están en el HTML, deja JavaScript apagado.

Coste del renderizado
De 3 a 5 veces menos páginas
05

Usa almacenamiento en base de datos en webs grandes

Volumen

Por encima de unos cientos de miles de URL, el modo memoria de Screaming Frog se satura. El almacenamiento en base de datos sobre un SSD aguanta unos 2 millones de URL con 4 GB asignados. Si la web es aún mayor, rastrea por directorios.

Base de datos
Unos 2 millones de URL con 4 GB
06

Comprueba los bots de IA en los logs, no en robots.txt

Logs

Tu robots.txt dice lo que permites, no lo que pasa. Para saber si GPTBot, OAI-SearchBot o ChatGPT-User visitan tu web, o si tu cortafuegos o tu CDN los bloquean, necesitas los logs del servidor. Ahí es donde un crawler con análisis de logs como JetOctopus marca la diferencia.

Bots que buscar
GPTBot, OAI-SearchBot, ChatGPT-User
FAQ · 8 questions

Crawler SEO · Preguntas frecuentes

  • ¿Cuál es el mejor crawler SEO gratis?
    Para tus propias webs, Ahrefs Free: 5000 créditos de rastreo al mes por proyecto verificado, y las redirecciones o errores no cuentan. Para cualquier web, la versión gratis de Screaming Frog, limitada a 500 URL por rastreo. En código abierto, SiteOne Crawler es gratis en Windows, Mac y Linux.
  • ¿Screaming Frog es gratis?
    Sí, hasta 500 URL por rastreo y con funciones recortadas. La licencia completa cuesta 199 £ al año por usuario, sin opción mensual y sin límite de URL más allá de la memoria de tu ordenador. Si la licencia caduca, vuelves a la versión gratis y no podrás abrir los rastreos guardados.
  • ¿Cuánto cuesta Screaming Frog en euros?
    El editor solo cobra en libras: 199 £ al año por usuario, con descuento a partir de cinco licencias (189 £, luego 179 £ y 169 £). El importe en euros depende del cambio del día y de tu banco, así que consulta el cargo en libras al pagar.
  • ¿Crawler de escritorio o en la nube?
    Escritorio para auditorías puntuales de hasta unos cientos de miles de URL: precio fijo, sin cuotas, pero trabaja tu ordenador. Nube para webs muy grandes y para seguimiento automático: suscripción mensual y cuota de URL. Muchos equipos usan los dos.
  • ¿Qué herramienta usar para una auditoría SEO técnica?
    Para una web de hasta 10 000 URL, Screaming Frog o Sitebulb Lite. Si ya tienes Semrush o Ahrefs, empieza por su Site Audit. Para más de 500 000 URL, una herramienta en la nube como JetOctopus. Lo importante es revisar redirecciones, indexación, canonical y profundidad, no el número de alertas.
  • ¿Un crawler ve el contenido cargado con JavaScript?
    Solo si activas el renderizado, que ofrecen Screaming Frog, Sitebulb y JetOctopus. Semrush no lo incluye en sus planes de entrada. Actívalo solo si el contenido falta en el HTML, porque ralentiza el rastreo y gasta más cuota.
  • ¿Cuánta RAM necesito para rastrear una web grande con Screaming Frog?
    Unos 8 GB asignados para 200 000 URL en modo memoria. Con almacenamiento en base de datos sobre un SSD, 4 GB bastan para unos 2 millones de URL. A partir de 100 000 URL, hay equipos que alquilan un servidor con mucha RAM para no bloquear su ordenador.
  • ¿Cómo saber si los bots de IA rastrean mi web?
    Mira los logs del servidor y busca GPTBot, OAI-SearchBot y ChatGPT-User. El robots.txt solo dice lo que permites. Revisa también las reglas de tu cortafuegos o CDN, que a veces bloquean estos bots sin que lo sepas.
Hack'celeration Lab

Recibe la próxima clasificación en tu correo

Sin spam. Date de baja cuando quieras.