Si hay algo con un efecto brutal y poco visto en el mundo de Internet son los MVT, los test multivariables o MultiVariate Testing. Seguro que has oído hablar de los tests. Quizás también de los split testing A/B. ¿Y de los MVT? Pues agárrate fuerte a la silla que vas a ver a la bestia en acción.
Abro la tele, documental. Bien.
Tras cuatro décadas viendo tele, he visto unos cuantos documentales (a menudo geniales para la siesta), pero éste me succiona la atención.
Estamos en el fondo del mar. Aparece en escena el camarón pistola. Nunca había oído hablar de este bicho. Se le acerca un aperitivo en forma de cangrejo, casi tan grande como él. Cuando está a unos pocos centímetros, el camarón le pega algo así como un pinzazo.
El cangrejo sale volando. Bueno, ya me entiendes. Pero no, ni lo ha tocado. No se trata de un pinzazo. No ha habido contacto. Y sin embargo, el cangrejo queda grogui unos segundos, cosa que aprovecha el camarón para tomar posesión de sus proteínas.
La cavitación
¿Qué es lo que ha ocurrido? El movimiento ha sido muy brusco, pero la vista engaña. Lo que realmente ha hecho el camarón es evolucionar su pinza hasta convertirla en una arma de fuego.
El cierre de la pinza es tan rápido (menos de un milisegundo) y tan potente que produce una onda de sonido de 218 decibelios (la explosión del volcán Krakatoa fueron un 180 db) que literalmente evapora el agua (alcanza una temperatura cercana a la superficie del sol), produciendo una especie de bala-burbuja.
Esta onda acústica creada por el paso brusco de líquido a gas es lo que se llama cavitación y es capaz de dejar K.O. a un cangrejo de su tamaño que esté en un radio de 4 cms. Si se trata de un pececito, lo liquida.
La cavitación se produce en otras partes y con efectos igualmente sorprendentes. Por ejemplo. En la hélice de una lancha motora. Si el giro es suficientemente alto, en el borde de las aspas se generan pequeñas burbujas (cavidades) que poco a poco desgastan el metal.
Para muestra esta imagen. En un viaje transatlántico, la hélice quedó para el chatarrero. ¡Agua destrozando metal!
Los MVT matan
Los test multivariables son como la cavitación. Cuando los montas parecen algo normal, una actividad más de marketing online. Personas hablando, tecleando en el ordenador, retocando fotos o añadiendo código HTML.
Pero cuando los pones a funcionar y sacas los resultados, los efectos pueden ser mortales para el cangrejo (tu competencia, claro).
Los MVT funcionan igual que el camarón pistola. Es una evolución de los tests, la más perfecta y poderosa.
Realizan mutaciones, muchas. La mayoría no sirven de mucho y acaban con la vida del mutante. Pero con la misma constancia del camarón a lo largo de millones de años, tantos cambios acaban dando con un mutante como los de los cómics, imbatible.
La diferencia es que los MVT no necesitan millones de años sino unas pocas semanas, máximo un mes o dos. Concentran el proceso en muy poco tiempo pero mantienen la excepcionalidad del resultado.
¿Qué es un MVT?
Un test multivariable o multivariante es como split test A/B pero a lo bruto. De hecho son muchos split test A/B a la vez.
En un test Split A/B puedes probar, por ejemplo en el caso de una landing page, si es mejor un titular comercial (A) o uno más informativo (B). Y nada más. El resto de cosas debes dejarlas inalteradas o invalidarías el test.
Si quieres saber además si es mejor una imagen (C) o una ilustración (D), tienes que montar otro test una vez haya concluido el anterior.
El test MVT acaba con esta limitación
- Permite testar múltiples variables (de ahí el nombre) en un solo test. Cuando tienen muchas cosas que probar, el test MVT es la mejor opción.
Por ejemplo, en una landing page puedes testar 2 titulares, 3 imágenes, 3 copys y 2 botones de acción. En total: 2x3x3x2 = 36 combinaciones de landing pages a la vez.
- No sólo te indica qué combinación es la ganadora, sino además, el efecto positivo o negativo de cada variación. Es decir cómo ha contribuido cada alteración al efecto final. Sumando o restando puntos. Un gran know-how para futuras pruebas.
En el ejemplo, te informaría de que la imagen 1 aporta +X%, la imagen 2 aporta +Y% y la imagen 3 resta –Z%.
- Un buen software de MVT hace casi todo el trabajo por ti. Tú le dices qué cosas quieres probar y el montará todas las variaciones. Algunos programas ni siquiera requieren la participación de los chicos de IT ni saber HTML.
Es decir, no tienes que castigar a tu webmaster a montar 36 páginas en HTML. Sólo escribir los 2 titulares, subir las 3 imágenes, etc. Yo me lo guiso, yo me lo como (el cangrejo).
- Se puede aplicar a casi cualquier cosa que esté hecha en HTML: un email, una landing page, un microsite, una página de producto, etc.
En este imagen podemos ver el resultado final de un test multivarible en el que se generaron 18 combos o versiones de landing pages, de las cuáles 10 se activaron en el MVT.
Como puedes observar, las landings no eran muy diferentes entre sí, algunas con un poco más de texto, otras con alguna imagen diferente… pero los resultados sí que fueron muy diferentes.
Las diferencias en conversión web entre la mejor (31%) y la peor (14%) son de un 100%, el doble. Este es el poder de los MVT.
Lo contrario, no hacer tests, te puede llevar a la ruina. Si en vez de hacer este test hubiésemos cambiado la landing page original (19%) por la pero versión, la 7 (con un 14%), hubiésemos deprimido la respuesta.
Esto es lo que ocurre a veces, desgraciadamente, cuando una empresa cambia la web por una aparentemente mejor y tras el descalabro en resultados afirma “la crisis se ha cebado con nosotros”.
El caso Hyundai: +62% en solicitudes de test drive
(Puedes leer el original aquí: http://visualwebsiteoptimizer.com/split-testing-blog/multivariate-testing-case-study/)
Hyundai quería mejorar las solicitudes de prueba de coches. En su sitio web para el mercado holandés, cada modelo es una landing page alimentada en su mayor parte por tráfico de pago, y un MVT podría sacarle más jugo a ese costoso tráfico.
Cada landing page tenía múltiples elementos decisivos: titular, visuales del automóvil, testimoniales, descripción, etc., elementos que posiblemente tenían influencia diferente en el resultado final. Un test MVT era perfecto para este caso.
Lo que querían testar, las hipótesis, fueron:
- Texto normal contra texto SEO friendly. Si no pasaba nada, pondrían los segundos, textos preparados para mejorar el posicionamiento SEO, en todas las páginas de automóviles.
- Botones de acción adicionales: la idea era que mejorarían las solicitudes de presupuesto y de prueba de coche.
- Fotos más grandes: ver el coche más grande debería también empujar los resultados hacia arriba.
En total, 2x2x2 = 8 combinaciones diferentes de landing pages. El objetivo, batir a esta página original:
De las 8 combinaciones, la mejor proporcionó un aumento espectacular del 62% en contactos, y se componía de: texto SEO friendly + botones extras + imágenes grandes.
El look de este camarón-pistola:
Lo más importante de un MVT
No es la tecnología, software utilizado o plataforma de MVT.
Hoy en día están muy perfeccionadas y, como ocurre con las utilidades de envío de emailings, hay docenas y docenas donde elegir.
Para que un MVT funcione y demuestre todo su potencial necesita dos cosas:
1- Fuerza bruta: toneladas de tráfico, un buen chorro que alimente, como en el ejemplo, las 36 variaciones.
De lo contrario, si sólo caen unas gotas de tráfico en cada versión, difícilmente se podrán extraer conclusiones con suficiente valor estadístico (grado de confianza superiores al 95%)
2- Fuerza creativa: que sean fáciles de ejecutar no quiere decir que sean fáciles de concebir.
Es un tiempo precioso y unas visitas caras las que pueden estar implicadas en el test, no se pueden malgastar con lo primero que se nos ocurra o con pruebas triviales.
En todo el proceso de MVT, el lugar en el que se crea más valor es en el que se concibe el test, en el que se decide qué testar y qué respuestas se quieren obtener.
El momento en el que la creatividad enfocada (hacia el negocio) da con grandes ideas que generaran grandes resultados. El 20% del tiempo que genera el 80% de los resultados. Si apuestas a los mejores caballos es más probable que ganes la apuesta.
Estas ideas, las ideas del millón de dólares, nacen de la experiencia en muchos tests, del profundo conocimiento del mercado y sobre todo, de saber porqué el noventa y pico de las visitas se van de la landing sin comprarte.
Lo contrario, ir probando cosas sin ton ni son, más que un camarón-pistola, nos proporcionará un camarón-pistola-de-agua.
Fernando Autran
octubre 3
Como siempre, ¡¡¡¡GENIAL!!!, y con sentido del humor, de forma que todo se entiende y aprende mas facilmente.
Gorka, ¡¡Yo quiero un MVT!!
Gustavo Dost
octubre 3
Excelente Gorka,
Siempre he tenido fe en los test pero nunca he hecho un MVT. He visto que la pagina de Google Optimizer da esta opción, vamos a empezar a probar.
Gorka Garmendia
octubre 3
Ojo, Google Website Optimizer fue aniquilado por Google en agosto pasado. Ahora los tests de web se hacen dentro de Google Analytics, y de momento, sólo se pueden hacer tests splt A/B/C... Los MVT tendrán que esperar. Hay sites que no lo hacen gratis como GA pero cuestan relativamente poco para lo que hacen (que puede ser mucho).
david lozano
octubre 3
Hola Gorka, me ha encantado tu post. Creo que tiene el enfoque correcto para lograr obtener los resultados esperados en tu web. En algunas ocasiones, el reto más importante es enfrentarte a tu propio diseño y concepción de la página para retarla con otras versiones distintas que, aunque “no te gusten”, puedan ayudarte a conseguir el objetivo. Gracias,
Ángela Guzmán
octubre 3
¡Qué gran descubrimiento! Gracias por el post, Gorka.
Por cierto, ¿conoces más ejemplos de tests MVT? ¿Qué coste medio tiene adquirir el software de MVT?
Un saludo.
Gorka Garmendia
octubre 3
Ejemplos que pueda publicar no tengo, pero si buscas en Google puedes encontrar bastantes (cuidado, no todos están bien hechos, no saques conclusiones rápidas). Respecto al coste del software MVT, en el caso de Visual Website Optimizer, uno de los más utilizados, a partir de 49€/mes: https://visualwebsiteoptimizer.com/signup.php
Manuel Jaime
octubre 3
Magnifico articulo Gorka!
Gracias por compartir esta informacion.
David SOCIALetic Marketing Digital
octubre 4
Interesantísimo el tema Gorka; siempre se aprende algo nuevo -y útil contigo. Si quieres podemos poner una definición tuya y referenciada en el nuevo Diccionario de Marketing (mío) que sale en breve...ya que éste término no lo tenía. ¡Vaya por Dios!...en lo personal, soy poco de analítica puesto que cada sistema me da resultados diferentes y aunque se pueden marcar tendencias; hoy por hoy la variable resultados la tengo muy clara en lo personal: trabajar más y mejor cada vez; lo que siempre me ha dado buenos resultados y menos quebraderos de cabeza. Saludos!, David
antonio
octubre 8
muy bueno Gorka.
Estamos en plena remodelación de varias webs en la agencia así que lo pondremos en marcha seguro.
Gracias y sigue con el gran trabajo!
Sebastián Torres
octubre 9
Muy Bien Gorka, pero seremos capaces de implementar este tipo de test en todas las acciones de marketing online que iniciemos en nuestra empresa?
Un saludo
Marina
octubre 29
Interesantísimo tu artículo, y de lo más útil ^_^
Respecto al software MVT, ¿tienes experiencia con alguno? ¿Cuál crees que es el mejor? He leído más arriba que mencionas el "Visual website optimizer", ¿lo recomiendas?
Un saludo y gracias.
Marina 🙂
Gorka Garmendia
octubre 29
Si no has hehco antes tests, recomendaría empezar con los split A/B que puedes hacerlos gratis con Analytics (en "Experimentos"). Si luego quieres seguir mejorando y probar los tests multivariables, VWO es una buena herramienta, de pago pero 10x mejor que GA
La ceguera del banner o banner blindness . Gorka Garmendia
abril 2
[...] Test de banners: probar sólo un tipo de banners es jugárselo a una carta, la probabilidad de fallar y entrar en el círculo vicioso antes mencionado es alta. Testar tres o cuatro diseños de banners es la única forma que conozco de encontrar el bueno y pasar a ser de esa élite del 2%. Además, puedes encontrar cosas sorprendentes como cuando testas banners dinámicos contra el mismo banner en imagen estática… no te voy a decir el resultado, pruébalo. [...]
50 terminos de marketing online » WebsOlivier - Blog
abril 28
[…] Sobre este tema, Gorka Garmendia nos deja esta valiosa “perla” en su blog: “El camarón pistola, la cavitación y los MVT”. […]
Los 50 términos imprescindibles del Marketing Online, bien explicados (I) | Blog de Ernesto del Valle
enero 19
[…] Sobre este tema, Gorka Garmendia nos deja esta valiosa «perla» en su blog: “El camarón pistola, la cavitación y los MVT”. […]