Seleccionar página

Este ensayo es una colaboración con Robert Hoffman y se basa en un informe de Klein et al. (2021) que fue preparado para la Agencia de Investigación y Proyectos Avanzados de Defensa.

Este ensayo trata sobre la realización de investigaciones en entornos aplicados: por ejemplo, proyectos patrocinados por el gobierno para determinar si un producto específico, como un sistema de inteligencia artificial, es rentable. Esta sección no se trata de realizar experimentos para publicar los resultados en revistas. La naturaleza de los experimentos y los criterios de rigor son diferentes en estos dos contextos.

El rigor es fundamental para que se publiquen las investigaciones; la falta de rigor suele ser motivo para que el editor de la revista o los revisores rechacen un manuscrito. Cuanto más riguroso, mejor.

Pero en entornos aplicados, donde la investigación se juzga sobre la base de qué tan bien responde a la pregunta, generalmente una pregunta sobre el valor del tratamiento o la tecnología, desea un grado apropiado de rigor. Más rigor no es necesariamente mejor. Incluso puede ser peor.

Más rigor puede ser peor si genera gastos adicionales y resultados retrasados. El problema del resultado retrasado puede verse como el síndrome de Consumer Reports: si puede leer sobre esto en CR, ya no puede comprarlo porque esa marca o versión ha sido descontinuada. El tiempo que necesitó Consumer Reports para realizar cuidadosamente sus pruebas hizo que los resultados fueran obsoletos.

El rigor excesivo puede conducir a otro problema: una tendencia a controlar en exceso las variables y hacer que las tareas sean más artificiales y libres de contexto. Los investigadores pueden añadir más rigor a los problemas de los juguetes y las tareas de laboratorio que a los tipos de tareas realistas. La trampa aquí es quitar el contexto hasta que se obtienen hallazgos que no se aplican a las necesidades del patrocinador.

Podríamos referirnos a estos problemas como “rigor mortis”.

Los problemas de rigor mortis en realidad pueden desalentar a los patrocinadores gubernamentales de realizar evaluaciones de nuevas tecnologías, y eso es desafortunado porque implementar sistemas no probados puede crear todo tipo de riesgos.

Una vez estaba sentado en una reunión para revisar una nueva misión militar y alguien dijo que el programa necesitaría incluir un componente de evaluación. Otra persona de mayor rango respondió que los militares ya no parecían muy entusiasmados con la investigación y los experimentos. Esta declaración fue una sorpresa. Pregunté por qué y me dijeron que se debía a muchas experiencias en las que la investigación era demasiado costosa, tomaba demasiado tiempo y proporcionaba respuestas que estaban obsoletas cuando llegaron.

En definitiva, el problema del rigor mortis.

Aquí hay algunas sugerencias para lograr el Rigor Mínimo Necesario (MNR):

Rigor mínimo necesario (MNR) significa menos condiciones de control y estadísticas más sencillas para reducir o eliminar el rigor, los gastos y el tiempo excesivos. Y mientras advertimos sobre los problemas del rigor excesivo, somos conscientes del problema del rigor insuficiente: una guía en la que no se puede confiar o que tiene que ser tan calificada como para ser inútil.

1. Deja de llamar a la investigación “experimentos”.

Este término conlleva mucho equipaje para un mayor rigor. En su lugar, llámelo “estudios piloto”. El equipo de investigación puede afirmar que los experimentos se pueden realizar más adelante si se justifica. Pero mientras tanto, puede ponerse en marcha un proyecto simplificado. Otra opción es llamar a estos esfuerzos «Experimentos de descubrimiento/exploración».

2. Poner el énfasis en los descubrimientos y aprendizajes.

Por lo tanto, evite eventos a gran escala que no sean propicios para el aprendizaje. Realice estudios piloto a escala en lugar de experimentos factoriales grandes y complejos. Los estudios piloto se pueden realizar con tan solo 10 participantes y se pueden rediseñar sobre la marcha a medida que aprende qué funciona y qué no.

3. Utilice tareas naturales.

Por lo general, existe presión para recurrir a tareas artificiales porque son más fáciles de diseñar y presentar, pero la idea general de MNR es utilizar tareas que preserven el contexto y las complejidades del entorno operativo.

4. Mantenga el diseño simple.

Para mayor precisión, es posible que desee ejecutar una serie de grupos, cada uno de los cuales recibe algún aspecto de su variable independiente para descubrir qué es lo que realmente funciona. Resiste esta tentación. Para un estudio piloto, es mejor combinar todas las intervenciones y probar todo a la vez. Si obtiene resultados convincentes, puede volver atrás y realizar investigaciones más cuidadosas más adelante; si no obtiene resultados convincentes, es hora de volver a evaluar.

5. Mantenga bajos los grupos de control.

Usted quiere que sus grupos de control sean justos, pero no se exceda.

6. Trate de usar trabajadores reales.

¿A quién vas a ejecutar en tu estudio piloto? No responda «estudiantes universitarios» o, peor aún, «turcos mecánicos». Si es posible, trate de reclutar participantes que estén haciendo el trabajo actualmente o un trabajo muy similar.

7. Mantenga bajo el número de compases.

Resiste la tentación de medir todo lo que se mueve. Sí, tiene esa capacidad, pero luego tendrá que cargar con la carga de analizar todos esos datos ruidosos. Un problema más profundo es la táctica sin sentido: «Bueno, recogeré todo, así que no tengo que pensar en lo que realmente necesito». En su lugar, intente imaginar qué medidas van a ser sensibles a los efectos que espera.

8. No complique demasiado las estadísticas.

El propósito de las estadísticas es comunicar lo que realmente sucedió en su estudio piloto, así que trate de no usar estadísticas que sean demasiado opacas, complicadas o difíciles de explicar a los patrocinadores.

Buena suerte con sus proyectos de evaluación y estudios piloto y con la realización de descubrimientos útiles y oportunos.

Uso de cookies

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información

ACEPTAR
Aviso de cookies