Investigación formativa versus sumativa

Este artículo tiene como objetivo explorar la definición, la diferencia y el propósito de la investigación de usabilidad formativa y sumativa, cómo y cuándo encajan en el ciclo de diseño del producto y cómo llevarla a cabo.

En primer lugar, las evaluaciones formativas y sumativas son a la vez una forma de Investigación evaluativa de usabilidad. Cada uno de ellos se lleva a cabo para comprender cómo se desempeña un producto en comparación con los puntos de referencia en la historia del producto. A diferencia del sumativo, el formativo también se considera un método de investigación exploratorio, mediante el cual se utiliza para obtener información sobre el tema que trata el producto y ayuda en la identificación y resolución de problemas. Independientemente de si la investigación es formativa o sumativa, el objetivo es identificar y resolver problemas de usabilidad para mejorar el diseño de un producto.

Nota: Los procesos de este documento provienen de la ingeniería de usabilidad de factores humanos en el campo médico, así como del enfoque centrado en el ser humano de Balance Innovation and Design para el diseño de productos.

En general, evaluación formativa de usabilidad se realiza para encontrar y solucionar problemas con un producto existente para hacerlo más utilizable. Se realiza tempranamente con simulaciones y prototipos de diseños de trabajo inicial y explora si los objetivos de usabilidad son obtenibles o no. Las evaluaciones formativas le indican qué es lo que no se puede utilizar de un producto existente o qué no funciona. El propósito es descubrir ideas y dar forma a la dirección del diseño. A diferencia de las pruebas sumativas, las pruebas formativas pueden y deben realizarse varias veces en un ciclo de diseño de producto. El objetivo es ayudar a dirigir el diseño por el camino correcto descubriendo problemas de usabilidad y solucionándolos en la siguiente iteración. (no liberar)

Un aspecto importante de la evaluación formativa es que la audiencia de las observaciones y recomendaciones es el propio equipo del proyecto, utilizado para mejorar inmediatamente el diseño del producto o servicio y refinar las especificaciones de desarrollo. Los resultados pueden ser menos formales que en la evaluación sumativa, según se adapten a las necesidades de los diseñadores, desarrolladores, directores de proyectos y otros participantes del proyecto.

Beneficios de la evaluación formativa versus la evaluación sumativa

El formativo es el camino a seguir cuando se itera un producto sin lanzarlo. Requiere mucho menos rigor que una evaluación sumativa y debe realizarse rápidamente y en sucesión en un proceso iterativo. La única audiencia de un estudio formativo debe ser el equipo de diseño (u otras partes interesadas). Es simplemente menos costoso y requiere menos tiempo que una evaluación sumativa.

¿Cuándo se debe realizar una investigación formativa? Temprano y frecuentemente en el ciclo de desarrollo del producto.
¿Cuántos participantes son necesarios? 4-5 por grupo de usuarios
Ejemplos de métodos formativos: Evaluación heurística, pruebas de usabilidad y entrevistas, análisis contextual.

Ejemplos de métodos de pruebas formativas de usabilidad (Manual de factores humanos en el diseño de dispositivos médicos)

Pruebas exploratorias: prueba a los usuarios que realizan tareas de alto nivel o recorren las tareas utilizando simulaciones de baja fidelidad (por ejemplo, modelos de papel o espuma). En esta etapa de desarrollo se están probando conceptos (p. ej., una prueba de usabilidad de una simulación por computadora de una interfaz de usuario de pantalla táctil para un monitor cardíaco o bocetos en papel de los botones y menús de navegación de dicho dispositivo). Pruebas de evaluación: pruebas que dan Los usuarios pueden realizar tareas realistas en prototipos funcionales o simulaciones más desarrolladas, generalmente sin riesgos importantes (por ejemplo, pacientes conectados al dispositivo). Por ejemplo, la prueba de usabilidad de la sensación y el control de un prototipo funcional de un medidor de glucosa portátil. Pruebas de comparación (contraste) (A/B): pruebas que comparan dos o más alternativas de diseño (p. ej., una prueba para medir la efectividad y las propiedades de alerta de dos conjuntos de alarmas auditivas competitivas para una bomba de infusión). Pruebas de comparación (competitivas): pruebas que recopilan el rendimiento de usabilidad de los productos de la competencia. Estas pruebas podrían ser parte de la exploración del diseño para comprender las mejores características de los dispositivos existentes o podrían usarse para respaldar las afirmaciones de marketing de un dispositivo (p. ej., prueba de usabilidad que compara la tasa de éxito de la tarea y el tiempo para realizar una prueba de química sanguínea utilizando una variedad de (analizadores de sangre portátiles en el mercado).

Pasos de un documento de proceso de investigación formativa

Declaración del propósito de la evaluación Descripción de la interfaz que se evaluará Escenarios de casos de uso y tareas involucradas en el proceso de prueba Evaluación de los usuarios finales: ¿cuántos grupos hay? Métodos de recopilación y análisis de datos que se utilizarán Explicación de cómo se utilizarán los resultados para desencadenar modificaciones de diseño que mitigar los peligros

Evaluación sumativa de usabilidad Se realiza para comprender qué es utilizable en un diseño una vez completado o qué funciona. Se realiza cuando un diseño está terminado (es decir, listo para ser lanzado al público/seguro para el público) para probar que funciona mejor que un producto lanzado anteriormente (o un producto competitivo). Se realizan evaluaciones sumativas para verificar y validar que es seguro divulgarlo al público. Se recomienda como mejor práctica tener criterios de aceptación formales (por ejemplo, objetivos de usabilidad para el desempeño humano y tasas de satisfacción del usuario). El propósito es responder: ¿qué utilidad tiene mi producto? O, en el caso de la mayoría de los dispositivos médicos, ¿se han cumplido los objetivos de usabilidad?

En general, un estudio sumativo ayudará a validar o invalidar la usabilidad de un sistema. Su objetivo es servir como puntos de referencia en el proceso de diseño iterativo para comparar si los diseños se mejoran con el tiempo. Las pruebas sumativas deben realizarse con diseños listos para el mercado en lugar de prototipos o simulaciones.

Beneficios de la evaluación formativa versus la evaluación sumativa

La evaluación sumativa es el camino a seguir cuando un producto está a punto de ser lanzado y el equipo de diseño necesita pruebas con validez estadística de que el nuevo diseño funciona mejor que el diseño anterior. Se debe utilizar un tamaño de muestra suficiente para permitir la realización de pruebas estadísticas sobre la confiabilidad de los resultados. Requiere más rigor que una evaluación formativa y está destinado a realizarse justo antes (o inmediatamente después) de que se entregue un diseño a sus clientes. La audiencia de una evaluación sumativa son, en última instancia, los usuarios del producto (que potencialmente podrían ser millones de clientes). Suele ser más costosa y requiere más tiempo en comparación con una evaluación formativa.

¿Cuándo se debe realizar una investigación sumativa? Justo antes o después de un rediseño.
¿Cuántos participantes son necesarios? 15-20 por grupo de usuarios
Ejemplos de métodos formativos: Tiempo dedicado a la tarea, tasas de finalización, tasas de éxito

Ejemplos de métodos de prueba de usabilidad sumativa (Manual de factores humanos en el diseño de dispositivos médicos)

Validación: se utiliza para verificar y validar el diseño de la interfaz; Los objetivos de usabilidad tienen criterios de aceptación. Debe incluir capacitación, documentación y etiquetado. Prueba usuarios reales y tareas reales con un dispositivo listo para el mercado. El tamaño de la muestra requiere un mínimo de 15 a 20 participantes por grupo de usuarios.

Pasos de un proceso de investigación sumativa (Manual de factores humanos en el diseño de dispositivos médicos)

Desarrollar una lista de tareas de usabilidad (tareas que debe satisfacer el producto) Determinar métodos, equipos, materiales, procedimientos y mediciones necesarias para la evaluación Definición de grupos de usuarios y reclutamiento para cada uno (15-20 usuarios/grupo) Definición de criterios de aceptación. Por ejemplo, el ochenta por ciento de todos los participantes le dará al dispositivo una calificación de 5 o más (en una escala de 7 puntos) con respecto a su satisfacción general con el dispositivo. Realice la prueba de validación utilizando un mercado real (no un prototipo o una simulación). producto listoAnalizar datos cualitativamente agregando datos objetivos y subjetivos para identificar posibles errores de uso y determinar las causas fundamentalesExplicación de cómo se utilizarán los resultados para activar modificaciones de diseño que mitigarán los peligrosAbordar los errores de uso a través de estrategias de gestión de riesgosRealizar pruebas de (re)validación de factores humanos (hasta que no se introducen nuevos errores) Documentar el proceso de Ingeniería de Factores Humanos/Ingeniería de Usabilidad

Tanto las evaluaciones formativas como las sumativas tienen propósitos discretos en el diseño de productos. Podemos comprender mejor los conceptos si damos un paso atrás y observamos cómo se utilizan los términos en el campo de la educación. Las evaluaciones formativas en educación están destinadas a ayudar a “formar” el conocimiento de los estudiantes sobre un tema en particular. Las evaluaciones sumativas (por ejemplo, exámenes finales) están destinadas a evaluar ese conocimiento (en suma) utilizando criterios de aprobación/reprobación.

Como diseñadores, nuestros productos deben ser lo suficientemente utilizables como para aprobar también los exámenes finales. Depende de los diseñadores determinar qué tareas admiten nuestros diseños, qué tan bien ayuda a los usuarios a realizarlas, qué peligros potenciales podría introducir el diseño y cómo superar esos peligros en la próxima iteración. Esto es especialmente cierto en el diseño de dispositivos médicos. De lo contrario, un producto podría llegar a nuestros usuarios y funcionar peor, o incluso más peligrosamente, que una versión anterior.

Para obtener más información sobre evaluaciones formativas y sumativas y cómo se utilizan en el campo médico, asegúrese de consultar IEC 62366 y cómo se utilizan los factores humanos en el diseño de dispositivos médicos. (fuente)

Aplicación de factores humanos e ingeniería de usabilidad a dispositivos médicos: orientación para la industria y el personal de la FDA