Test de emailing (II): responsive vs no-responsive

Éste es el segundo caso de test de e-mailing que ganó un premio «Silver» en la 4th Annual Email & Mobile Testing Award y que compartimos contigo. Si el caso anterior era un curioso test sobre hora y día de envío del email, en esta ocasión testamos un tema crucial en la estrategia de emailing: ¿cuánto ganamos al pasar a diseño responsive?

2015-clico-silver-award

El email que ves arriba a la izquierda es un diseño html no responsive. Si te parece poco agraciado para ganar un premio, estoy contigo. Pero esto no es un concurso de belleza sino de eficacia.

Se trata de un email cuya plantilla ya fue testada anteriormente contra otras más agraciadas y las ganó a todas.

Posiblemente su sencillez, claridad y tono personal fueron atributos superiores a otros diseños más bonitos pero que gritaban «¡no me mires que soy publicidad!».

Como se dice en este sector:

Lo feo vende (ugly sells)

En cuanto al contenido, en el email se promociona un cupón descuento de 4€ para animar la compra de cualquier producto de la marca Thiomucase, anticelulítico de la farmacéutica Almirall (a la que de nuevo agradecemos su autorización para publicar los resultados en este blog).

El resto del email es un texto sencillo y corto tipo carta, firmado por una de las interlocutoras en Thiomucase.

El email se envía a una base de datos, en su gran mayoría mujeres, que han realizado un registro doble opt-in. Por lo tanto conocen y están habituadas a recibir este tipo de comunicados.

Lo que quiero decir con esto es que es un target de gran calidad, no una lista fría de desconocidos que nos podría enturbiar los resultados.

¿Por qué testar un email responsive contra otro que no lo es?

Una vez teníamos un diseño de email (izquierda) que funcionaba bien, como apasionados del testing, el siguiente paso era preguntarse: ¿cómo se mejora esto?

Para llegar a esta plantilla habíamos testado previamente aspectos del diseño, longitud del texto del email, tonos de copy… ¿qué más se podías testar?

La respuesta nos la dio uno de los temas más top de los últimos años: el diseño responsive.

Con un email responsive el diseño se adapta a los diferentes anchos de los dispositivos. Es decir, va cambiando el ancho del email y los tamaños de las imágenes/textos según el usuario lo esté visualizando en un ordenador, en una tablet o en un móvil.

Incluso dentro de un mismo dispositivo, detecta si lo tienes en vertical y lo pasas a horizontal, adaptándose al cambio de ancho.

Pruébalo con este mismo blog, que es responsive. (Si me estas leyendo en el ordenador mejor que no, te mirarán raro).

La hipótesis, por lo tanto, es que si pasamos de email no-responsive a diseño responsive, el usuario tendría que agradecerlo ya que todo lo ve mejor, lo lee mejor, la experiencia es mejor y debería hacer clic en el email con mayor alegría.

El diseño responsive es algo que se acepta sin dudar, es un sí-o-sí. De hecho hoy en día tener un sitio web que no se adapte al dispositivo empieza a ser algo «vintage».

La pregunta que nos hacíamos no era tanto si el email debía ser responsive sino:

¿Cuánto se gana con el responsive? ¿Vale la pena el esfuerzo?

¿Cómo se hace un test de diseño responsive vs no-responsive?

En este caso el proceso es más laborioso que en el caso anterior de fecha/hora en el que el email es el mismo y sólo tienes que enviarlo en momentos distintos.

Aquí el email es completamente diferente y tienes que hacer dos diseños, uno en html clásico, y otro en html responsive, con todo lo que ello significa.

Pasar un diseño a responsive no algo que se consigue apretando un botón, los diseñadores web estarán conmigo en que hay que tocar muchas cosas, hacer muchas pruebas, a veces rediseñar el photoshop original…

En cualquier caso hay que tener claro que sólo cambia el diseño, por lo tanto:

  • Los textos son exactamente los mismos
  • El estilo, es decir, colores, tipografías, etc., no cambia
  • Las dos versiones se envían a la vez, en el momento ganador del anterior test (jueves a las 22:30)
  • La base de datos no cambia, ambas versiones van a la «misma gente»

Con «misma gente» no quiero decir que lo tienes que enviar los dos emails a una misma persona. Esto sería un error grave en testing. Lo podrías llamar encuesta, pero no test.

Con «misma gente» quiero decir que debes particionar la base de datos en dos, por ejemplo 50%-50% y de forma aleatoria, para que las dos mitades sean homogéneas en cuanto a recencia, frecuencia, valor, demografía, es decir. El perfil es el mismo en los dos casos.

Las mitades pueden ser también 25%-75% o 1%-100%, pero por un tema de estadística y grado de confianza que luego comentamos en la parte de resultados, aconsejamos hacer mitad y mitad sobre todo si eres nuevo en esto del testing y quieres asegurarte que el test saldrá bien.

¿Cuáles fueron los resultados?

Como en el caso anterior, nos fijamos en el ratio de apertura (open rate, OR) y el ratio de clic (click through rate) para valorar cuál de los dos diseños funcioná mejor.

And the winner is…

¡Diseño NO RESPONSIVE!

Test-emailing-responsive-design-ganador-clico-digital

Aquí tienes los datos:

  • Open rate (OR): 32% más en aperturas en la versión NO responsive
  • Click through rate (CTR): un 56% más de clics en la versión NO responsive

¿Sorprendido? ¿Escéptico? Puedes dudar de estos datos, yo lo haría.

Hasta que compruebas que estadísticamente el resultado tiene una fiabilidad altísima.

Concretamente, el resultado del test alcanzó un grado de confianza del 99%, el nivel que utiliza Google en sus proyectos de testing.

Con un 95% un test ya se da por válido en la mayoría de las empresas, así que en este caso la versión no responsive ganó de forma rotunda y no  admite discusión.

¿Por qué ganó el no-responsive si todo se ve más pequeño? La respuesta no te la puede dar el test. El test te dice quien gana. No el porqué. Punto.

Podríamos hacer suposiciones, establecer teorías. Prefiero preguntarte: ¿cuál es la tuya?

¿Qué hemos aprendido con este test?

La importancia que tiene hacer un test ante cualquier decisión importante.

Es un tema que demasiado a menudo se pasa por alto: por mucho que un cambio sea evidente, por mucho que sea algo que todo el mundo lo haga, por mucho que te lo recomiende hasta el frutero de la esquina:

Aquí no se cambia nada sin antes hacer un test

No es la primera vez ni la última que lo vemos en otros casos o que nos pasa a nosotros mismos. Hemos visto sitios web nuevos que funcionan peor que los antiguos, a pesar de que a todo el mundo le gustaba la nueva versión.

En el caso de los emailings y el diseño responsive, este caso no es el primero.

Tenemos otro cliente en el que ha ocurrido lo mismo. Hemos tenido que dar marcha atrás y volver a la seguridad del html de toda la vida.

¿Significa esto que el diseño responsive no funciona?

En absoluto. Pero hay que diferenciar entre diseño web y diseño de emailings.

Aunque los dos sean html, son mundos muy diferentes por los navegadores y gestores de correo que cada usuario utiliza.

Sin entrar en cuestiones técnicas, la visualización correcta de un email da mucho más trabajo que la de un sitio web. Muchísimo más si estamos hablando de diseño responsive.

Pero esto no quita que vayamos a echar la toalla en los emails no responsive.

No es una moda pasajera, es hacia donde vamos sin remedio. No tiene sentido que algo se vea pequeñito y el usuario tenga que hacer zoom con los deditos.

El email se tiene que ver perfecto en cualquier situación. El usuario chequea su correo con una sola mano, con cuatro dedos aguanta el móvil y con el pulgar hace scroll.

El diseño responsive es la solución. Pero el diseño responsive tiene que demostrar antes su valía en números.

Seguiremos testando y testando hasta que el diseño responsive gane

Esperemos que sea pronto.

– – – – – – – – – – – – –

Si no has leído el otro caso de test de e-mailing real, aquí lo tienes:

Test de e-mailing (I): cuándo enviar un email

22 respuestas a «Test de emailing (II): responsive vs no-responsive»

  1. Avatar de Jordi
    Jordi

    Me parece buen test para comprobar eficacia de CTR pero en el caso de la apertura a igualdad de subject es un dato irrelevante puesto que lo que se pretende en este caso es valorar la eficacia del click, no?

    1. Avatar de Habboot
      Habboot

      Me sumo a este comentario. Si no modificamos el Copy entre sujetos de prueba ¿Cómo es que la versión No Responsive obtuvo 32% más de Open Rate? Considerando el grado de confianza del test prácticamente debieran tener el mismo valor, lo que hace el dato no irrelevante, al contrario hace dudar la eficacia del testeo.

      1. Avatar de Gorka Garmendia
        Gorka Garmendia

        Te copio lo que le he dicho a Jordi: Pues no, parece ser que el body del email (lo que no es Asunto ni pre-header) influye también en el ratio de apertura. Entre los varios motivos (que me han dicho existen, yo de esto poco sé) estaría la previsualización del email, aquella parte que te deja ver tu gestor de correo sin tener que abrir el email. Otro motivo por el cuál hay que cuidar mucho la parte inicial del email.
        Soy consciente de que parece no tener sentido, pero nos ocurre siempre que cambiamos el diseño y mantenemos el asunto igual: los open rate también cambián.

    2. Avatar de Gorka Garmendia
      Gorka Garmendia

      Pues no, parece ser que el body del email (lo que no es Asunto ni pre-header) influye también en el ratio de apertura. Entre los varios motivos (que me han dicho existen, yo de esto poco sé) estaría la previsualización del email, aquella parte que te deja ver tu gestor de correo sin tener que abrir el email. Otro motivo por el cuál hay que cuidar mucho la parte inicial del email.

  2. Avatar de Diseño Web León

    Excelente aporte, aunque rompe las reglas de optimización ya que todo el mundo recomienda hacer los diseños de mailing responsive, vemos que no siempre funciona mejor. Muchas gracias por compartir este test, realmente sorprendente.

    1. Avatar de Gorka Garmendia
      Gorka Garmendia

      Bueno, no quería cargarme nada ;), simplemente avisar de no dar nada por válido sin antes testarlo.

  3. Avatar de Pipe Sanchez
    Pipe Sanchez

    Bravo por romper (una vez más) los tópicos.

  4. Avatar de Miriam

    Muchísimas gracias por este aporte Gorka, me ha venido genial ya que estoy metida de lleno con mi web y a mi personalmente me esta funcionando muy bien el diseño no responsive. En el último mes he recibido muchos más número de clics que con un diseño normal responsive. Aun ando perdida en estos temas pero poquito a poco va saliendo. Gracias y magnifico trabajo!!

  5. Avatar de Txema Daluz

    Buen trabajo Gorka, desmontar el tópico del diseño responsivo con un caso real da para pensar un buen rato. Un saludo

  6. Avatar de CARLOS H
    CARLOS H

    Interesante (como siempre) post. Es la primera vez que leo un artículo que cuestiona el diseño responsive en favor del diseño tradicional… Puede ser que el mayor CTR en el modelo no responsive fuese debido a que el CTA está visible sin necesidad de scroll? Gracias Gorka!

    1. Avatar de Gorka Garmendia
      Gorka Garmendia

      Así es Carlos, poner el CTA «above the fold» siempre suma puntos. Otra explicación que me han comentado es que la foto de la chica, al aparecer en la pantalla da un cierto toque de proximidad y calidez que le falta al responsive. Quien sabe…

  7. Avatar de Angel J Navarro

    No veo clara la diferencia entre ambos emails, el hecho de que el primero de ellos «ya estuviera bien» diseñado y optimizado para móvil y el responsive. Este último y en este caso, poco aporta de manera diferencial frente al otro. Quizás un test frente a plantillas standart utilizadas por web tipo mailchimp podría dar un vuelco a los resultados

    1. Avatar de Gorka Garmendia
      Gorka Garmendia

      Podría ser Ángel. Si te sirve, sólo añadir que el primero no estaba optimizado para móvil. El test fue realizado precisamente para eso, para ver si podíamos optimizarlo para móvil.

  8. Avatar de Elena

    Hola Gorka
    Muy buen test!! A mí también me gusta más el NO responsive ¿será por la foto? no sé
    Cuando yo hago mis emails, las cosas de mi web, ….., cómo no entiendo demasiado, pienso: ¿Cómo me gustaría a mí como comprador o detinatario o lo que sea final? y entonces lo hago así, no creo que sea muy distinta al resto de los mortales 🙂

  9. Avatar de Fernando Martin

    Muy interesante el test, como siempre Gorka, gracias por compartirlo

  10. Avatar de Carlos

    Excelente aporte, no te puedes imaginar lo que me han ayudado tus publicaciones para iniciar mi empresa de casas modulares en estos lares. Desde luego que es una maravilla, aumento de clics, tráfico y clientes interesados. Gracias y un saludo Gorka!!

  11. Avatar de Cristian
    Cristian

    Puede ser que la versión No Responsive tenga más CTR por el hecho de que hay que hacer click para poder leer los contenidos? En la versión responsive se lee bien sin hacer click.

    Saludos!

  12. Avatar de Francisco
    Francisco

    Tengo la misma duda que Cristian respecto al CTR, en el diseño responsive ves claramente si te interesa continuar con la lectura o no, con el no responsive tienes que hacer clic para leerlo de forma clara, somos muchos los «cortitos de vista» que andamos por ahí 🙂
    ¿Y qué hay de las conversiones en venta? algún dato al respecto sería clarificador, no sólo de CTR vive el hombre.
    Saludos.

    1. Avatar de Gorka Garmendia
      Gorka Garmendia

      Tienes toda la razón Francisco, aquí y siempre lo que importa es la métrica del final. En este caso hay datos de venta por temas técnicos pero sí, debería haberlos y podrían dar la vuelta al test, quien sabe.

  13. […] con los temas de responsive del post anterior, hoy traemos otro caso precisamente sobre el blog que estás leyendo ahora mismo. Hace un par de […]

  14. Avatar de Carmen
    Carmen

    Enhorabuena por el blog Gorka, una información muy útil, no había pensado en la importancia de la previsualización para mejorar el Open Rate. En este caso para entender los resultados, yo creo que haría un nuevo test de dos versiones responsivas, uno con el CTA visible en el primer scroll y otro no, para averiguar el peso que tiene en nuestro CTR este factor.
    Saludos

Responder a Pipe Sanchez Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *