Foto de Jay Ee en Unsplash
Estoy escribiendo esto en casa, en mi apartamento del cuarto piso. Cuando lo hago, confío en que mi edificio no se derrumbará sobre mí.
Estoy poniendo mi fe en el rigor de la construcción de mi edificio.
Lo mismo ocurre cuando la semana pasada tomé el ascensor hasta el piso 57 de un rascacielos en el centro. O el fin de semana pasado cuando pasé al metro y tomé el metro para ver a un amigo. Y es muy probable que también confíes tu vida a una construcción rigurosa.
Cuando hacemos eso, ¿en qué confiamos exactamente? Pues confiamos en que los arquitectos e ingenieros hayan diseñado el proyecto de forma que sea estable y duradero. En otras palabras, confiamos en que haya rigor en el diseño.
Pero los superintendentes, los ingenieros de campo, los trabajadores y muchas otras personas en los proyectos de construcción tienen que crear las condiciones físicas reales. cosa en base a los diseños. Por lo tanto, también confiamos en que esas personas traduzcan los diseños con precisión, con cuidado y consideración, y que pidan aclaraciones a los arquitectos e ingenieros sobre cualquier cosa ambigua, pecando de precaución y seguridad. Cuando hacemos eso, confiamos en que hay rigor en la interpretación.
Es una distinción sutil, pero razonar de esta manera puede llevarnos a una idea importante sobre el rigor de la investigación.
Cuando busqué “rigor de la investigación de UX” en Medium para prepararme para esta historia, encontré historias sobre el rigor en la creación de instrumentos de encuesta y el rigor en la planificación y ejecución de entrevistas a los usuarios. Estas historias tratan sobre el rigor en el diseño (de investigación): la selección cuidadosa de los métodos apropiados para un conjunto determinado de preguntas de investigación y luego la implementación de ese método de manera apropiada y efectiva.
Esta historia no trata sobre eso, no porque el rigor en el diseño no sea importante (absolutamente lo es), sino porque quiero llamar la atención sobre algo ligeramente diferente.
Un conjunto riguroso de especificaciones para un proyecto de construcción es crucial, pero también lo es la interpretación adecuada de esas especificaciones. De manera similar, no basta con que los investigadores ejecuten un estudio bien diseñado.
Nuestro trabajo no es sólo ser dueños de cómo se realiza la investigación, sino también de cómo se entiende y utiliza la investigación.
Los investigadores son evaluados por su impacto. Pero el impacto de la investigación se ve en las decisiones que las partes interesadas toman basándose en la investigación, y esas partes interesadas toman sus decisiones utilizando las imágenes que tienen en sus cabezas: su propia interpretación y comprensión de lo que encontraron.
Foto de Magda Ehlers: https://www.pexels.com/photo/brown-man-face-figurine-613431/
No podemos controlar lo que piensan las partes interesadas, pero podemos influir en ello: podemos educarlos sobre los estándares aceptados, sobre por qué podemos tener mucha confianza en ciertos hallazgos y poca confianza en otros. Podemos guiar a nuestras partes interesadas cuando se desvían, y podemos ser un navegador y un traductor para nuestro equipo no solo en los hallazgos, sino también en las interpretaciones e implicaciones específicas de los hallazgos.
En la práctica, hay un par de pruebas específicas que busco para ver si los investigadores de UX (y las personas que investigan) están interpretando los hallazgos con rigor:
Sacar conclusiones de los hallazgos de manera conservadora y cautelosa. Ser honesto, claro y directo acerca de las limitaciones de un diseño/estudio de investigación específico, y lo que esas limitaciones significan para lo que debemos aprender. Incorporar reflexividad y posicionalidad en la realización de entrevistas a los usuarios y al analizar los datos resultantes. Considerar alternativas. explicaciones de los resultados observados. Desafiando su propia interpretación – constantemente
(Esta lista ciertamente no es completa, pero es un punto de partida sólido).
Aquí hay un ejemplo de cuando recientemente tuve problemas con el rigor en la interpretación. (Los números aquí son falsos, pero todos los demás detalles realmente sucedieron; es el evento que inspiró esta historia).
Nuestro equipo estaba realizando una prueba A/B/C de una nueva característica. Los usuarios fueron asignados aleatoriamente a uno de tres grupos experimentales:
Grupo de control (que vio el producto tal como existe hoy) Tratamiento A (que vio una versión de la nueva característica) Tratamiento B (que vio una versión diferente de la nueva característica)
Los resultados se vieron así:
Según esta tabla, nuestro equipo de producto concluyó que el Tratamiento A superó al Tratamiento B.
Mirando esos resultados, ¿estaría de acuerdo?
¿Qué pasaría si le dijera que la comparación de los dos grupos de tratamiento entre sí se ve así:
¿Qué pasaría si también les dijera que la herramienta que estamos utilizando para realizar el experimento y analizar estos datos es usar pruebas t para estas pruebas de significancia estadística, una prueba inapropiada cuando hay más de dos grupos?
***
Tal vez esto le parezca una pequeña “montaña salida de un topo” en este momento, y no necesariamente estoy en desacuerdo. Pero cuando la gente se mueve rápido y rompe cosas, no tengo reparos en ser la voz de la razón cautelosa y aguafiestas.
A veces, eso es lo que necesita el equipo. (Trabajo en videojuegos, pero digamos que tú trabajas en salud y tu “Resultado X” es algo así como, digamos, episodios depresivos. O dolor subjetivo. O mortalidad. ¡Me gustaría que fueras un aguafiestas en ese caso!)
https://elephant.art/smiling-poop-emoji-conveys-words-never/
También era importante para mí sentar un precedente de rigor al interpretar los resultados experimentales. No estaré tan cerca de los resultados de cada prueba A/B que realiza nuestro equipo, y ciertamente no de todas las pruebas A/B realizadas por nuestros PM a lo largo de sus carreras. El topo no siempre será un topo. Los productos en los que trabajamos estructuran y afectan gran parte de nuestras vidas (cómo trabajamos, cómo compramos, cómo salimos, cómo interactuamos con los demás) que ser rigurosos en cómo interpretamos los resultados y tomamos decisiones basadas en esas interpretaciones es una tarea muy importante. Una forma real y tangible en la que los investigadores de UX pueden marcar la diferencia en las personas y en el mundo.
(Por si sirve de algo, mi respuesta a Producto aquí fue algo así como: “Si me apuntaras con una pistola a la cabeza, elegiría A. Pero realmente no creo que sea tan claro como podría parecer a primera vista porque la estimación de la diferencia entre los dos tratamientos es pequeña y menos precisa, y la prueba que utiliza la herramienta subestimará el error y exagerará la confianza. Este resultado nos da una pista, pero no tenemos que descartar B si hay otros factores a su favor, como el costo o la deuda de diseño”).
Atribuyo mi propio sentido e ideas sobre el rigor en la interpretación a mi formación académica. Y si tuviera que resumir esas ideas en tres reglas generales, serían estas:
Errar por el lado de la seguridad
Los resultados rara vez son claros. Nuestros datos cuantitativos suelen ser confusos, con múltiples resultados y métricas que, idealmente, apuntarían en una dirección, pero no siempre lo hacen. Nuestros datos cualitativos pueden ser incluso peores: resulta que los humanos somos complicados.
En estos casos, exija a usted y a su equipo un alto nivel de evidencia. Sea honesto acerca del desorden y el nivel de confianza que podemos tener.
Lo que significa “seguridad” es, por supuesto, relativo, y estar seguro no significa parálisis de decisiones o no tener voz. Pregúntese qué decisiones tomará su equipo en función de esta investigación. ¿Estás frente a una puerta de un solo sentido o de dos sentidos? ¿Cómo afectaría una mala decisión a tu equipo y a tus usuarios?
2. Abogar no sólo por los hallazgos, sino también por interpretaciones específicas de los mismos.
Ser riguroso no significa evitar ofrecer un punto de vista. En realidad es exactamente lo contrario. Si los investigadores sólo se ciñen a afirmaciones como “los resultados muestran X”, dejamos el significado de X a otros. Hacerlo es renunciar al poder y, sin embargo, no nos exime de responsabilidad.
Termine esa declaración anterior con un “y X significa Y” y recuérdele a su equipo acerca de Y constantemente, en sincronizaciones, en 1 a 1, en futuros repartos y entregables.
Recuerde, no podemos controlar la imagen que tienen en sus cabezas, pero podemos y debemos hacer todo lo posible para alinear esas imágenes con las nuestras.
3. Esté abierto a equivocarse
Ser defensor tampoco es lo mismo que ser dogmático. La ambigüedad es donde vive gran parte de la investigación, y los investigadores también son humanos.
Mucha gente, especialmente los más jóvenes, teme equivocarse. Esto es cierto no sólo para las UXR sino para prácticamente todos los roles con los que he interactuado. Sospecho que es lo que hace que recibir comentarios sea tan difícil para algunos.
La verdad es que ser humano significa equivocarse al menos algunas veces. Al final del día lo que realmente importa es tomar la mejor decisión posible para tu equipo y para tus usuarios. No puedes hacer eso si crees que siempre tienes la razón.
***
El rigor en la forma en que diseñamos la investigación por sí solo no es suficiente: también debemos ser rigurosos en la forma en que interpretamos los resultados de la investigación. Hacer ambas cosas es parte del trabajo y así es como creamos una buena investigación.