Los estudios de velocidad y conversión: qué dicen realmente
El catálogo de las cifras que todo el mundo cita, de dónde sale cada una, cuáles son experimentos de verdad y cuáles correlaciones, y cómo leer un caso de estudio antes de repetirlo en una reunión.
Hay media docena de cifras que se repiten en todas las presentaciones sobre rendimiento web desde hace veinte años. Casi nadie las ha leído en su fuente, muchas se citan mal, y las hay que vienen de un experimento riguroso y las hay que vienen de un gráfico de dispersión. Distinguir unas de otras no es pedantería académica: es la diferencia entre construir un argumento que aguanta una pregunta difícil y uno que se derrumba en cuanto alguien pregunta cómo se midió.
- Clasificar cada estudio conocido según su diseño: experimento aleatorizado u observación.
- Identificar en cada cifra qué se manipuló y qué se midió exactamente.
- Reconocer las tres formas en que estas cifras se citan mal.
- Extraer de un caso de estudio la información que sí es transferible a tu producto.
Los dos diseños
Antes del catálogo, la distinción que lo ordena todo.
Experimento aleatorizado. Se asigna al azar a cada usuario a una de dos condiciones que difieren en una sola cosa, y se compara. Como la asignación es aleatoria, los dos grupos son comparables en todo lo demás, y la diferencia observada se puede atribuir causalmente a la manipulación. Es el único diseño que permite decir “la velocidad causa esto”.
Observación. Se mira la relación entre la velocidad y algún resultado en los datos que ya se tienen, sin manipular nada. Produce una correlación. Puede ser una correlación fuerte, real y estable, y aun así no autoriza a decir que si aceleras el sitio pasará lo que el gráfico sugiere.
La proporción en la literatura pública es aplastante: la inmensa mayoría de los casos de estudio que circulan son observacionales, y los pocos experimentales son antiguos o vienen de empresas con volúmenes de tráfico que casi nadie tiene.
El catálogo
El experimento de retardo en un buscador grande. Es el trabajo de referencia y el que hay que citar cuando quieras un argumento sólido. Se inyectó un retardo en el servidor a una fracción aleatoria de usuarios y se midió el efecto en ingresos por usuario y en número de consultas. Los órdenes de magnitud publicados: retardos de cien milisegundos producen pérdidas de ingresos por usuario de unas décimas de punto porcentual, y retardos de dos segundos producen pérdidas del orden del cuatro por ciento. Es un experimento aleatorizado limpio, con una manipulación de una sola variable y con un volumen enorme, y sus autores han escrito además sobre las trampas metodológicas de este tipo de estudio, lo que lo hace doblemente útil.
El experimento de los cien milisegundos en una tienda muy grande, de mediados de la década de 2000. La cifra que todo el mundo repite: cada cien milisegundos de latencia cuesta en torno a un uno por ciento de ventas. Vino de un experimento real con retardo inyectado, así que es causal. Sus límites: es de hace veinte años, sobre una web y unos dispositivos que no se parecen a los actuales, y la cifra concreta se ha citado tantas veces sin fuente que hoy circula como folclore.
El experimento de los resultados por página en un buscador. También de mediados de la década de 2000. Se pasó de diez a treinta resultados por página, lo que añadió alrededor de medio segundo, y el tráfico cayó en torno a un veinte por ciento. Se cita constantemente como prueba del coste del medio segundo, y es la cita peor usada de todas, porque el cambio no fue solo de velocidad: cambiar el número de resultados cambia también el producto. Es un experimento aleatorizado, sí, pero con dos variables manipuladas a la vez, así que no se puede atribuir el efecto a la latencia.
El estudio agregado de decenas de marcas de comercio y viajes. Publicado alrededor de 2020 por una consultora grande, con datos de decenas de millones de sesiones. Encontró que una mejora de una décima de segundo se asociaba con aumentos de conversión del orden del ocho por ciento en comercio y del diez por ciento en viajes. Es observacional: no se manipuló nada, se correlacionó la velocidad de las sesiones con su resultado. Es el estudio más citado de los últimos años y el que más se presenta como si fuera causal.
Los casos de estudio de sitios concretos. Los que aparecen en las colecciones públicas de casos: una operadora de telecomunicaciones que declara haber medido con una prueba A/B una mejora del treinta y uno por ciento en el pintado del elemento más grande asociada a un ocho por ciento más de ventas; un medio de comunicación grande que informa de perder alrededor de un diez por ciento de usuarios por cada segundo adicional; una red social que declara un quince por ciento más de registros tras reducir a la mitad los tiempos de espera percibidos. Son de calidad muy desigual: unos pocos declaran una prueba A/B y son por tanto experimentales; la mayoría son observaciones tomadas antes y después de un rediseño que cambió muchas cosas a la vez.
Resumido:
| Estudio | Diseño | Qué se manipuló | Fiabilidad causal |
|---|---|---|---|
| Retardo inyectado en buscador | Experimento | Solo latencia | Alta |
| Cien milisegundos en tienda grande | Experimento | Solo latencia | Alta, pero antigua |
| Resultados por página | Experimento | Latencia y contenido | Baja: confundido |
| Estudio agregado de marcas | Observacional | Nada | Solo correlación |
| Casos de estudio de sitios | Mixto | Rediseños completos | Variable, a menudo baja |
Las tres formas de citarlas mal
Presentar una correlación como una promesa. “Los datos dicen que si mejoramos una décima de segundo, la conversión sube un ocho por ciento.” No es lo que dicen los datos. Dicen que las sesiones más rápidas convierten más, cosa perfectamente compatible con que las dos cosas tengan una causa común. La formulación honesta cambia poco y cambia todo: “los sitios más rápidos convierten más; para saber si en el nuestro es causal hay que probarlo”.
Transferir la magnitud sin transferir las condiciones. Un experimento hecho en un buscador con usuarios que hacen decenas de consultas al día mide algo muy distinto de lo que pasa en una tienda que alguien visita tres veces al año. Y un efecto medido pasando de ocho segundos a cuatro no dice nada sobre pasar de dos a uno y medio: la relación entre velocidad y comportamiento tiene rendimientos decrecientes, y casi ningún estudio publica su punto de partida, que es el dato que haría falta para saber si te aplica.
Ignorar el sesgo de publicación. Nadie publica un caso de estudio titulado “aceleramos el sitio un cuarenta por ciento y no pasó nada”. Los casos que existen son los que salieron bien, y muchos los publica alguien que vende infraestructura de velocidad. Eso no los invalida, pero significa que la literatura visible es una muestra sesgada de los intentos reales, y que el efecto típico es casi con seguridad menor que el efecto típico publicado.
Qué sí es transferible
Descartadas las magnitudes, hay tres cosas de esta literatura que sí puedes llevarte y que son más valiosas que cualquier porcentaje.
El signo y su robustez. En veinte años, decenas de estudios de diseños distintos, en sectores distintos y con métricas distintas, apuntan todos en la misma dirección. Ninguna metodología concreta es concluyente y la convergencia sí significa algo: es muy improbable que el efecto sea nulo o negativo. Puedes afirmar con tranquilidad que ir más rápido ayuda; lo que no puedes afirmar es cuánto.
La forma de la relación. Los estudios que publican curvas y no solo un porcentaje coinciden en que la relación no es lineal: hay una zona donde mejorar apenas cambia nada y otra donde el efecto es grande. Eso te dice algo accionable de inmediato, que es que lo que importa no es tu mediana sino tu cola: los usuarios que están en la parte mala de tu distribución son donde está todo el efecto disponible.
Los diseños experimentales. La contribución más valiosa de esta literatura no son sus números, son sus métodos. El experimento de retardo inyectado es una idea reutilizable, barata y aplicable a cualquier producto con tráfico suficiente, y sus autores documentaron además las trampas. Copia el método, no la cifra.
Hay una asimetría en cómo funcionan estos argumentos dentro de una empresa que conviene entender antes de preparar la próxima presentación. Cuando llevas la cifra de un estudio famoso, estás pidiendo prestada la autoridad de otro, y esa autoridad viene con toda su superficie de ataque. Basta con que alguien de la sala haya leído el estudio, o que pregunte de qué año es, o que observe que el sitio del estudio es una tienda enorme y el vuestro un servicio de suscripción, para que el argumento entero se caiga. Y se cae de una forma especialmente mala: no queda como “esa cifra no aplica”, queda como “este ingeniero traía datos que no había comprobado”, y esa impresión se transfiere a lo siguiente que digas durante meses. Con un número propio pasa lo contrario. Es más pequeño, mucho más pequeño, casi siempre decepcionantemente pequeño comparado con los porcentajes de las presentaciones. Y es tuyo, es de este producto, es de este trimestre, y viene con su metodología escrita. Nadie lo puede refutar sin cuestionar tu medición, y cuestionar tu medición es un trabajo que casi nadie va a hacer. Lo que quiero que veas es que esto no es solo una cuestión de retórica: el número propio es de verdad mejor, porque además de ser defendible es el único que responde a la pregunta que de verdad importa, que no es cuánto vale la velocidad en general sino cuánto vale en tu producto, para tus usuarios, en tu punto de la curva. Y la respuesta puede perfectamente ser “poco”, y descubrirlo también es valioso: si tu experimento honesto dice que doblar la velocidad de la portada no mueve nada, acabas de ahorrar a tu equipo un trimestre de trabajo mal dirigido, y esa información vale más que la validación de una intuición. Así que la práctica que recomiendo es concreta y va contra el instinto: usa la literatura para justificar el experimento, no para justificar el proyecto. Es un cambio de petición que además es mucho más fácil de conceder. En lugar de pedir tres meses de trabajo apoyado en un estudio ajeno, pides dos semanas para medir, apoyado en que hay indicios convergentes de que ahí puede haber algo. Nadie dice que no a eso. Y a la vuelta traes un número que ya no necesita ninguna cita.
- Busca la fuente original de la cifra que más usas en tus presentaciones y comprueba de qué año es y qué diseño tenía.
- Averigua el punto de partida de ese estudio: de cuántos segundos a cuántos. Compáralo con el tuyo.
- Clasifica los tres casos de estudio que tengas más a mano en experimental u observacional.
- Reescribe la afirmación que sueles hacer en la forma honesta, distinguiendo correlación de causa.
- Localiza el diseño experimental del estudio que más te convenza y anota qué haría falta para replicarlo en tu producto.