Sobre reproducibilidad y repetibilidad en la academia y en la industria

Abril 2021

Descargo de responsabilidad

Todo el contenido de esta presentación es de autoría propia del presentador y colaboradores. Las imágenes adjuntas tomadas de terceros están referenciadas como hipervínculos que se pueden acceder desde el código html o desde la interacción en un navegador. Las imágenes no referenciadas son de diseño propio. El acceso al contenido de esta presentación es de naturaleza open source.

Hablemos de reproducibilidad

Reproducibilidad: repetir un resultado

Reproducibilidad: reproducir una idea o proceso

El problema actual sobre reproducibilidad

Enfoque desmesurado en la producción de resultados

El problema de la reproducibilidad en la academia

No hay tiempo

Presión para publicar

Inconsistencia en la organización

Pesca de resultados positivos

Inseguridad para adquirir nuevas habilidades

Falta de ideas para organizar el trabajo

El problema de la reproducibilidad en la academia

No hay tiempo

Presión para publicar

Inconsistencia en la organización

Empobrecimiento de la credibilidad en investigación científica

Pesca de resultados positivos

Inseguridad para adquirir nuevas habilidades

Falta de ideas para organizar el trabajo

El problema de la reproducibilidad en la industria

No hay tiempo

Presión para entregas

Falta de planeación para adquirir herramientas

Desestructuración del trabajo

Enfoque competitivo en crecimiento

Falta de comunicación para estructurar el trabajo

El problema de la reproducibilidad en la industria

No hay tiempo

Presión para entregas

Falta de planeación para adquirir herramientas

Riesgo de reducción en innovación
Riesgo de incapacidad para responder a requerimientos de proyectos pasados
Riesgo de alta ineficiencia

Desestructuración del trabajo

Enfoque competitivo en crecimiento

Falta de comunicación para estructurar el trabajo

¿Cómo se vive el problema de la reproducibilidad hoy?

En la academia

En la industria

¿Es momento de balancear el paradigma de la productividad con reproducibilidad?

¿Cuál es la utilidad de producir si no podemos reproducir?

La crisis de reproducibilidad en la academia

No podemos repetir resultados
No se pueden aplicar métodos a datos nuevos
Cuestionamiento de la validez científica

La crisis de reproducibilidad en la industria

Desestabilidad y vulnerabilidad de proyectos

Documentación inexistente

Degradación de la productividad

La raíz del problema de reproducibilidad

Hoy en día es un reto encontrar los proyectos estructurados y almacenados digitalmente de una forma entendible y completamente documentada

carpeta_proyecto_objetivo

estudio1

.
- input
- proceso
- output
README

estudio2

Historias

Historias de crisis de reproducibilidad en la academia

Dear researcher,
I read your publication …
Is it possible to have access to the data and the methods that you applied?

Historias de crisis de reproducibilidad en la academia

Dear researcher,
I read your publication …
Is it possible to have access to the data and the methods that you applied?

Historias de crisis de reproducibilidad en la academia

El escondido y generalizado caso de la crisis de los estudiantes de doctorado. Después de 4 años es tiempo de reunir resultados y escribir la tesis… ¿Cuáles fueron los proyectos que se desarrollaron?

Historias de crisis de reproducibilidad en la industria

Respondiendo a la petición de un cliente sobre una investigación 2 años atrás

Historias de reproducibilidad exitosa en la academia

Compartir códigos en repositorios académicos

I did that aswell. Worked like magic, no errors, no interruptions. Great feeling to #reproduce others work. I just love #OpenScience and #scicomm ! https://t.co/CywxghgvD2
— Manuela Reichelt (@ManuReichelt) March 18, 2021

Historias de reproducibilidad exitosa en la academia

Compartir códigos en repositorios de uso masivo

Historias de reproducibilidad exitosa en la academia

Ph.D. Makeover

by: mdv & vfd

SOFTWARE

bin
caso1
- mapas
- experimentos
- versiones_SOFTWARE
- resultados
caso2

desarrollo_modelo_hidro

casos_studio

caso1
- mapas
- experimentos
caso2

software_mantenimimento

resultados

Historias de reproducibilidad exitosa en la industria

Respondiendo a la petición de un cliente sobre una investigación pasada

Estamos pasando de publicar una figura de resultados a compartir el proceso de análisis, incluida la figura …

… de dejar el archivo del informe a dejar el proyecto documentado de cómo se realizó el proceso, incluido el informe

Cada uno de nosotros es una marca personal, y esa marca personal se fortalece si otros pueden reproducir lo que hemos realizado.

Hacia un trabajo reproducible en la era del computador

Nuestro actual instinto de trabajo

En algún punto acá es necesario detenerse y organizar

Elementos para un trabajo reproducible

Los objetivos

La marca personal de un profesional o de un investigador

Elementos para un trabajo reproducible

La estrategia

Intentar
Detenerse
Diseñar: Manual
Automatizado
Trabajar: Documentación

La estructura

proyecto_objectivo
- estudio1
  - input
  - proceso
  - output

Quién será el siguiente usuario de este proceso

Los elementos técnicos

Experimental: Qué instrumentos
Qué material
Qué protocolos
Computacional: Qué sistema operativo
Qué software
Qué programación

Elementos para un trabajo reproducible

Campos de trabajo/Ciencias: Naturales

De Ingeniería

Computacionales

Económicas / Humanas

Los elementos técnicos

Experimental: Qué instrumentos
Qué material
Qué protocolos
Computacional: Qué sistema operativo
Qué software
Qué programación

Qué mantenimiento

Elementos para un trabajo reproducible

Uno mismo

Un investigador / profesional del mismo tipo

Una compañía que está interesada en un resultado académico

La estructura

proyecto_objectivo
- estudio1
  - input
  - proceso
  - output

Quién será el siguiente usuario de este proceso

Un usuario sin conocimiento técnico del tema

Un estudiante

Público en general

Elementos para un trabajo reproducible

La estrategia

Intentar
Detenerse
Diseñar: Manual
Automatizado
Trabajar: Documentación

Campos de trabajo/Ciencias: Naturales

De Ingeniería

Computacionales

Económicas / Humanas

¿Qué tan probable es encontrar un readme en un proyecto pasado?

Todo el trabajo, sean los procesos que se desarrollaron manualmente como los automatizados deben tener documentación clara y explícita

¿Podemos empezar a construir una cultura de trabajo reproducible?

La demanda de habilidades computacionales en una cultura de reproducibilidad

El científico o profesional

Siglo XX: Lápiz
Papel
Calculadora
Regla
Otros elementos mecánicos

Diseñar
Organizar
Manejar procesos mecánicos

Siglo XXI: Computador
(Dispositivos digitales)

Manejar procesos digitales
Programar y mantener programas

Siglo XXII: ¿Qué viene después de la era digital?

El científico o profesional programando

Generalización en la enseñanza

Sistemas Operativos: Windows, Linux, Macintosh, …

Lenguajes de programación: C, Java, Python, R, …

Version control systems: Git, SNV, …

¿Podemos profundizar la inclusión de programación en las diferentes áreas del conocimiento?

Reproducibilidad y más

Reproducibility in Open Science

Reproducibility in Open Science

Reproducibility for Everyone

Reproducibilidad en la industria

why-your-company-needs-reproducible-research

why-your-company-needs-reproducible-research2

¿Podemos abrir campo a la divulgación de Open Science y Reproducibilidad en la UNAL?

¿La industria Ramo sin la receta del chocorramo?

¿El mundo en pandemia sin el protocolo de cómo hacer una vacuna?

Cada uno de nosotros es una marca personal, y esa marca personal se fortalece si otros pueden reproducir lo que hemos realizado.

¡Muchas gracias UNAL!

Agradecimiento al espacio de Diálogos con Egresados 2021 y facilidades.

Colaboración con Marco Dalla Vecchia en el desarrollo de este contenido e ilustraciones.

Twitter: @valefonsecadiaz

LinkedIn: https://www.linkedin.com/in/valeria-fonseca-diaz-060283103/

Email: valeria.fonseca.diaz@gmail.com, vfonsecad@unal.edu.co

Github: https://github.com/vfonsecad

#TheReproducibilityParadigm #Reproducibility #R4E