metodologia

SECCIÓN METODOLOGÍA

Novedad y pertinencia de la propuesta

La propuesta presenta el diseño y evaluación de una innovadora plataforma de capacitación basada en pacientes virtuales conversacionales. Este diseño permitirá la formación de estudiantes y profesionales sanitarios en un entorno virtual controlado que permita la adquisición de competencias y habilidades de forma previa al contacto con pacientes reales. Esta plataforma, sería el primer paso para la creación de un metaverso hospitalario basado en IAG con diferentes paquetes de capacitación para la especialización y la formación continua en aspectos concretos, por ejemplo, en áreas con gran incidencia de eventos adversos debidos a sesgos de género. 

En este primer desarrollo de la plataforma virtual se pondrá el objetivo en evaluar su uso para la adquisición de diferentes competencias en los estudiantes de Enfermería, Medicina y Psicología, además de residentes en estas disciplinas, a través del presente proyecto multicéntrico.

El objetivo de la formación de los estudiantes de ciencias de la salud es garantizar que la medición de las competencias de los futuros profesionales se base no sólo en los conocimientos biomédicos y las habilidades clínicas críticas, sino también en la capacidad de traducir estas competencias en resultados de salud de los pacientes (Kalet et al., 2010 – 10.1097/ACM.0b013e3181d734a5). Sin embargo, no existen estudios exhaustivos que evalúen la efectividad de los pacientes virtuales para la capacitación profesional en salud (hecho comprobado mediante una revisión sistemática realizada recientemente por los miembros del equipo). Nuestro proyecto multicéntrico permitirá realizar esta evaluación y determinar el impacto en salud con resultados estadísticamente significativos, gracias al gran número de participantes.

La propuesta es altamente relevante y responde a la creciente demanda de profesionales de la salud bien capacitados, en un contexto donde la escasez de plazas de formación y la limitada disponibilidad de hospitales para prácticas generan un cuello de botella en la formación clínica. La creación de un metaverso hospitalario permitiría trasladar parte de la capacitación a entornos virtuales, optimizando el proceso formativo. Además, este entorno digital facilita la interacción en tiempo real en un espacio seguro y controlado, mejorando la adquisición de competencias sin comprometer la seguridad de los pacientes. Al mismo tiempo, refuerza la protección de la privacidad y los datos sensibles, un aspecto clave en situaciones de alta vulnerabilidad, como la atención a víctimas de violencia de género, en cumplimiento del acuerdo definitivo de la Comisión de Recursos Humanos del Sistema Nacional de Salud de 2016.

La propuesta se enmarca en la línea de investigación de los equipos solicitantes en los distintos subproyectos, donde confluyen las nuevas tecnologías, en concreto la IAG, la innovación en técnicas de formación y la investigación en estudios de género.

 

DISEÑO 

 

Se plantea un estudio multicéntrico prospectivo, controlado y aleatorizado que se desarrollará en cuatro etapas: 1. Desarrollo de la plataforma virtual; 2.Evaluación de la usabilidad; 3. Evaluación de la adquisición de competencias y satisfacción de estudiantes; 4. Evaluación del impacto en resultados de salud. 

Los centros que integran el estudio se ilustran en el organigrama recogido en la imagen del cronograma. 

En el centro que presenta esta solicitud [número expediente subproyecto] , se llevarán a cabo, parte de la etapa 1 y las etapas 2 y 3.  (revisar el número de las fases cada centro)

 

ETAPA 1: Desarrollo de la plataforma virtual

En esta primera etapa se desarrollará el software que permitirá el diseño de la plataforma. ¡¡¡SÓLO PARA UMH!!! Desarrollo software:

Se utilizará una metodología de desarrollo basado en pruebas (test driven development o TDD) para evitar errores de código que puedan pasar desapercibidos. En cuanto a la accesibilidad de la plataforma a desarrollar, se seguirán las recomendaciones normativas actuales (Norma EN 301 549 v3. 2.1 (2021-03) «Requisitos de accesibilidad para productos y servicios TIC»). Para la programación de los pacientes virtuales utilizaremos diversos modelos de IAG para establecer un protocolo de supervisión mutua. Proponemos utilizar las APIs de OpenAI (ChatGPT), Mistral, Anthropic (Claude), Google (Gemini), xAI (Grok), DeepSeek o cualquier otra IAG que pueda aparecer en el transcurso del proyecto.

TEXTO PARA CENTROS NO TECNOLÓGICOS (todos menos la UMH): En esta primera etapa se desarrollará el software que permitirá el diseño de la plataforma y se llevará a cabo por el equipo de la Universidad Miguel Hernández, del proyecto multicéntrico. En las imágenes anexas se puede encontrar información sobre la web del proyecto y ejemplos de pacientes virtuales en desarrollo. 

 

Además, se crearán y configurarán los pacientes virtuales por parte del equipo investigador, incluyendo pacientes virtuales para estudiantes de las diferentes disciplinas y especialidades. Una vez desarrollados y cargados en la plataforma se procederá a las pruebas de funcionamiento de los pacientes virtuales. Así, se llevará a cabo una evaluación del realismo y coherencia clínica del comportamiento de los pacientes virtuales incluidos en la plataforma de aprendizaje. 

 

ETAPA 2. Evaluación de la usabilidad 

 

El objetivo de esta fase es evaluar la usabilidad de la plataforma con pacientes virtuales. 

Diseño

Diseño mixto convergente (Creswell, 2017) que utilizará un diseño descriptivo transversal para el enfoque cuantitativo de la usabilidad y un diseño descriptivo mediante análisis de contenido temático para el enfoque cualitativo de la usabilidad a través del método “Think Aloud”.  

Muestra 

Se realizará un muestreo de conveniencia desde el centro coordinador con estudiantes de cada una de los grados implicados en el proyecto: enfermería, medicina y psicología. De igual forma, con especialistas en formación (residentes) de las mismas disciplinas. 

Entre los criterios de inclusión se plantean: 1) estudiantes matriculados en las titulaciones de los grados en Enfermería, Medicina o Psicología de las universidades participantes o especialistas en formación (residentes) de las disciplinas de enfermería, medicina o psicología de los hospitales participantes, 2) capacidad básica para manejar aplicaciones digitales 

Y como criterios de exclusión: 1) personas con experiencia en desarrollo similares ya que su conocimiento previo podría sesgar los resultados. 2) cualquier persona que no desee participar voluntariamente o que no firme el consentimiento informado, 3) personas con barreras idiomáticas que impiden una adecuada comprensión de las instrucciones o verbalización de sus pensamientos.

Tamaño muestral: se calcula un tamaño muestral de 20 participantes en cada una de las dos poblaciones a estudio, estudiantes y especialistas en formación. Según [Alroobaea y Mayhew, 2014] , en evaluaciones cuantitativas se recomienda un tamaño de muestra superior a 20 para identificar problemas de diseño o funcionamiento y obtener resultados estadísticamente significativos. Por otro lado, la U.S. Food and Drug Administration (2016) sugiere que 15 participantes pueden ser suficientes para detectar la mayoría de los problemas en una interfaz de usuario, considerándolo un número mínimo práctico para pruebas de validación de factores humanos. Ambas fuentes coinciden en que el tamaño de muestra debe ajustarse según la complejidad del objetivo de investigación.  Por lo tanto, dado que la aplicación posee un nivel de sofisticación y complejidad considerable, la muestra seleccionada es adecuada para identificar los problemas de usabilidad, ya que supera el mínimo recomendado por los autores citados.

 

Intervención: Los participantes en esta fase del estudio utilizarán la plataforma gamificada con pacientes virtuales según el procedimiento establecido.

Recogida y análisis de datos: La evaluación para testar la usabilidad de la plataforma constará de dos fases: 1-Método “Think Aloud” (pensando en alto) que consistirá en pedir a los participantes que utilicen la plataforma siguiendo unas indicaciones mientras verbalizan en alto lo que van pensando según manejan la plataforma.  Se grabará el audio de estas pruebas y el contenido será transcrito y analizado cualitativamente con el software AtlasTi 7,5.  2-Cuestionario de usabilidad System Usability Scale (SUS) (Brooke, 1996), que permitirá evaluar la plataforma.

 

ETAPA 3. Fase experimental: Evaluación de la adquisición de competencias y satisfacción de estudiantes

Diseño

Se realizarán estudios con un diseño experimental, ensayos controlados aleatorizados, en los diferentes centros participantes en el proyecto.

En cada centro, los participantes se asignarán al azar a los dos grupos: grupo experimental (que utilizará la plataforma gamificada de capacitación con pacientes virtuales) y un grupo de control (que utilizará una plataforma de capacitación online estándar).

En los casos en los que el número de participantes reclutados sea inferior al tamaño muestral calculado, la efectividad de la plataforma se comprobará mediante un diseño pre-post con un único grupo.

 

Muestra y muestreo

El estudio se realizará en el centro coordinador y en los diferentes centros participantes asignados. 

Entre los criterios de inclusión se plantean: 1) estudiantes matriculados en las titulaciones de los grados en Enfermería, Medicina o Psicología de las universidades participantes, 2) estudiantes que estén cursando asignaturas incluidas en el proyecto , 2) capacidad básica para manejar aplicaciones digitales 

Y como criterios de exclusión: 1) personas con experiencia en desarrollo similares ya que su conocimiento previo podría sesgar los resultados. 2) cualquier persona que no desee participar voluntariamente o que no firme el consentimiento informado, 3) estudiantes matriculados en asignaturas diferentes,  4) personas con barreras idiomáticas que impiden una adecuada comprensión de las instrucciones o verbalización de sus pensamientos.

El reparto de los participantes entre grupos se realizará de forma aleatoria, intentando el equilibrio entre géneros y también entre cursos (estudiantes).

Dado el carácter multicéntrico del proyecto, se llevarán a cabo los estudios experimentales en paralelo, que serán posteriormente analizados tanto de forma independiente como de forma conjunta. 

Estimación de los participantes posibles de cada centro:

– Estudiantes de enfermería en FSJD (225).

– Estudiantes de enfermería en UHU (520).

– Estudiantes de enfermería (100), medicina (70) y psicología (60) en IdiSNA-UPNA (total=230).

– Estudiantes de enfermería, medicina y psicología en CESAG (200)

– Estudiantes de enfermería en UCLM (509).

– Estudiantes de medicina y psicología en UMH (619).

– Estudiantes de enfermería en UMH (grado por implantar a partir del curso 25/26).

– Estudiantes de medicina y enfermería en FIBioHRC (619). 

Conjuntamente el número de participantes posibles supera los 2500 estudiantes.

 

Tamaño muestral

Se busca detectar tamaños de efecto iguales o superiores a 0.8 (d de Cohen para medir diferencias de medias entre dos grupos), con un nivel de confianza del 95%, lo que resulta en un tamaño mínimo de 84 participantes (42 en cada grupo). Considerando como peor caso una tasa de abandono del 15%, el número inicial de participantes por grupo debe ser igual a 50. 

En los casos en los que el número de participantes reclutados sea inferior, no existirá grupo de control y la efectividad de la plataforma se comprobará mediante mediciones pre-post.

 

Intervención

Los participantes del grupo experimental utilizarán la plataforma con pacientes virtuales según el procedimiento establecido para ello.

 

Variables e instrumentos de medida:

Se valorará las siguientes variables: 

.–Adquisición de competencias para la entrevista clínica, comunicación y razonamiento clínico (diagnóstico). La evaluación de estas competencias permitirá valorar la capacitación de los estudiantes. 

Para ello, se utilizará una adaptación del instrumento Creighton Simulation Evaluation Instrument (C-SEI)  que permite valorar la actuación de estudiantes en ciencias de la salud en estas tres esferas, y que cuenta con una versión validada al castellano (Roldán-Merino, et al., 2019). Además, se recogerán datos sobre la calidad de la interacción con el paciente (medida automática con Procesamiento de Lenguaje Natural (PLN)), el tiempo destinado a la consulta (medida automáticamente por la plataforma) y la evaluación global de la consulta.

.–Satisfacción y confianza con el aprendizaje: se evaluará con la versión española (Farrés et al. 2021) de la escala Student Satisfaction and Self-Confidence in Learning desarrollada por Souza y colaboradores (2020).  Consta de 13 ítems evaluados con una escala Likert con opciones desde 1 (totalmente en desacuerdo) a 5 (totalmente de acuerdo) y valora la satisfacción y autoconfianza de los estudiantes de enfermería con el aprendizaje en actividades de simulación clínica. Se compone de dos dimensiones: 1) satisfacción con el aprendizaje actual y 2) autoconfianza en el aprendizaje.

.– Engagement o nivel de permanencia: a modo orientativo, para la medición de esta variable se utilizará el Person‑Situation Academic Engagement Questionnaire for Adults (PSAE‑QA) desarrollado y validado con estudiantes universitarios de diferentes universidades españolas (Alonso-Tapia et al, 2022). 

Y como variables sociodemográficas se incluirán; edad, género, titulación, asignatura, curso y centro de procedencia.

 

Recogida y análisis de datos:

Se invitará a participar en el estudio, a través de los sistemas de comunicación de los diferentes centros, a todos los estudiantes matriculados en las asignaturas en las que está previsto evaluar la plataforma de aprendizaje. 

Para la recogida de datos se configurará un cuestionario electrónico a través de una herramienta online que incluirá las variables a estudio.

Para los grupos experimentales, se recopilará información adicional que incluirá la evolución temporal de la capacitación durante el uso de la plataforma (evolución de cada una de las medidas indicadas en el punto 1).

El análisis estadístico de los datos consistirá en una presentación descriptiva de los datos recogidos. Las variables continuas se describirán como media y desviación estándar. Las variables categóricas se presentarán como frecuencias y porcentajes. Posteriormente y previa valoración de la normalidad de los datos, se realizarán los correspondientes análisis inferenciales. En una primera etapa se llevará a cabo una valoración de la homogeneidad de los grupos (Grupo Intervención, GI y Grupo Control, GC), mediante la comparación de las variables de resultado y sociodemográficas. Para ello, se utilizará el test de la t de Student para las variables cuantitativas, el test de la Chi-cuadrado para las variables nominales o dicotómicas (con la correspondiente corrección de Fisher, en caso necesario) y el test de Wilcoxon para variables de naturaleza ordinal. En todos los casos, el nivel de significación se establecerá en 0,05.

Los datos serán analizados con ayuda del programa informático SPSS 24.0 para Windows.

 

Entre todos los pacientes virtuales que se utilicen en los experimentos, aquéllos centrados en la capacitación sobre sesgos de género serán objeto de un análisis adicional por separado, para extraer conclusiones específicas.

 

ETAPA 4. Evaluación del impacto en resultados de salud

 

Diseño: 

Ensayos controlados aleatorizados que se realizarán en los diferentes centros participantes.

En cada centro, los participantes se asignarán al azar a los dos grupos: grupo experimental (que utilizará la plataforma gamificada de capacitación con pacientes virtuales) y un grupo de control (que utilizará una plataforma de capacitación online estándar).

En los casos en los que el número de participantes reclutados sea inferior al tamaño muestral calculado, la efectividad de la plataforma se comprobará mediante un diseño pre-post con un único grupo. 

 

Muestra y muestreo: 

El estudio se realizará en el centro coordinador y en los diferentes centros participantes asignados. 

Entre los criterios de inclusión se plantean: 1) especialistas en formación (residentes) de las disciplinas de enfermería, medicina o psicología de los hospitales participantes,, 2) capacidad básica para manejar aplicaciones digitales 

Y como criterios de exclusión: 1) personas con experiencia en desarrollo similares ya que su conocimiento previo podría sesgar los resultados. 2) cualquier persona que no desee participar voluntariamente o que no firme el consentimiento informado, 3) residentes de otras especialidades,  4) personas con barreras idiomáticas que impiden una adecuada comprensión de las instrucciones o verbalización de sus pensamientos.

El reparto de los participantes entre grupos se realizará de forma aleatoria, intentando el equilibrio entre géneros y años de experiencia (residentes).

 

Dado el carácter multicéntrico del proyecto, se llevarán a cabo los estudios experimentales en paralelo en paralelo, que serán posteriormente analizados tanto de forma independiente como de forma conjunta. El listado de experimentos, junto con el número de participantes posible, es el siguiente:

– Residentes MIR en HSJDA (56).

– Residentes MIR en HUSE + HSJDP (340).

– Residentes EIR en HUSE + HSJDP (17).

– Residentes PIR en HUSE + HSJDP (10).

– Residentes MIR en HRC (455).

Conjuntamente, el número de participantes posible alcanza 1035 residentes.

 

Tamaño muestral

Se busca detectar tamaños de efecto iguales o superiores a 0.8 (d de Cohen para medir diferencias de medias entre dos grupos), con un nivel de confianza del 95%, lo que resulta en un tamaño mínimo de 84 participantes (42 en cada grupo). Considerando como peor caso una tasa de abandono del 15%, el número inicial de participantes por grupo debe ser igual a 50. 

 

Intervención

Los participantes utilizarán la plataforma gamificada con pacientes virtuales según el procedimiento establecido para ello.

 

Variables e instrumentos de medida

– Número de eventos adversos (y, específicamente, aquellos debidos a errores por sesgo de género).

– Número de reconsultas (y, específicamente, aquellas debidas a errores por sesgo de género).

– Tiempo de consulta promedio.

– Satisfacción de pacientes (cuando esté disponible).

Y como variables sociodemográficas; edad, género, disciplina y año de especialidad.

Recogida y análisis de datos

Se invitará a participar en el estudio a través de los sistemas de comunicación de los diferentes centros a todos los residentes de las especialidades de enfermería, medicina y psicología. 

Para la recogida de datos se configurará un cuestionario electrónico a través de una herramienta online que incluirá las variables a estudio.

 

Consideraciones Éticas

El presente proyecto se ha sometido a evaluación y aprobación por el Comité de Ética  de la Universidad Miguel Hernández (250219124929), uno de los centros de este proyecto multicéntrico. Posteriormente, si resulta aceptado, se obtendrá la autorización de los comités de ética de todos los centros participantes. En caso de ser necesario, se obtendrá la autorización institucional necesaria para llevar a cabo el estudio. 

El estudio contará con el cumplimiento exhaustivo de todos los requisitos ético-legales en vigor relacionados con la investigación con humanos.

El consentimiento informado será obtenido de todos los participantes, asegurando que están completamente informados de los objetivos del estudio, los procedimientos involucrados, sus derechos y las medidas de privacidad y seguridad de los datos. 

Cada participante en los experimentos accederá a la plataforma mediante su email, que se almacenará anonimizado en forma de hash SHA256. .Se garantizará la protección de los datos experimentales frente a accesos indebidos mediante encriptación de toda la información almacenada y mediante el almacenamiento en un servidor seguro.

 

Limitaciones del estudio

A pesar de su innovación, el estudio presenta algunas limitaciones. La precisión de los pacientes virtuales depende de la calidad de los datos de entrenamiento y de los modelos de IA utilizados, lo que puede generar mensajes o respuestas inesperadas. La generalización de los resultados podría verse limitada por la diversidad de contextos clínicos y perfiles de participantes. Además, factores como la adherencia a la plataforma y la disponibilidad de infraestructura digital pueden influir en la efectividad de la capacitación. Finalmente, aunque se evalúa el impacto en salud, la relación causal con la mejora en la práctica clínica puede estar mediada por variables no controladas.

 

RIESGOS DE EJECUCIÓN Y PLAN DE CONTINGENCIA

 

De acuerdo con la planificación (mostrada en el apartado del plan de trabajo), existen tres hitos de especial importancia, para los cuales se analizan los riesgos y se proponen planes de contingencia:

 

Hito 1. Disponibilidad de la plataforma de generación de pacientes virtuales. Como plan de contingencia ante posibles retrasos, ya existe una plataforma provisional sobre la que se pueden crear los pacientes, que seguirán siendo completamente funcionales sobre las sucesivas versiones de la plataforma. 

Hito 2. Disponibilidad de los pacientes virtuales de cada centro. Como plan de contingencia ante retrasos, permitiremos que cualquier centro pueda utilizar los pacientes creados por los demás centros, siempre que las especialidades sean coincidentes.

Hito 3. Reclutamiento de participantes. Se sincronizará entre los centros y con los calendarios académicos (en el caso de estudiantes) o de formación de residentes. Se establece un margen suficiente para garantizar el cumplimiento.

 

ALINEAMIENTO ENTRE METODOLOGÍA, HIPÓTESIS Y OBJETIVOS

La metodología propuesta se ajusta a los objetivos y las hipótesis planteadas. En concreto:

La hipótesis H1 se verificará mediante la evaluación de los pacientes virtuales por sus usuarios (profesionales y estudiantes).

Las hipótesis H2 y H3 se verificarán mediante pruebas experimentales frente a grupos de control (en grupos numerosos) y mediante medidas pre-post (en grupos reducidos).

La dimensión del proyecto multicéntrico (8 subproyectos y más de 50 investigadores en centros de realización diferentes) permitirá obtener resultados estadísticamente significativos.

 

PARTICIPACIÓN CIUDADANA

Buscamos la participación de asociaciones ciudadanas involucradas en la formación sanitaria básica de la ciudadanía, como la ONG Afeselx (Asociación para la Formación y Educación en Salud de Elche, https://www.facebook.com/afeselx); u otras entidades ciudadanas que puedan estar interesadas en la formación de cuidadores no profesionales, como la Confederación de Asociaciones de Enfermos de Chron y Colitis Ulcerosa (ACCU, https://accuesp.com/); o la asociación “Afrontamiento del Dolor Crónico de Andalucía” (ADCA). Nuestro objetivo es canalizar la participación ciudadana a través de estas asociaciones en tres frentes:

  1. Propuesta de los pacientes virtuales más adecuados desde el punto de vista de la ciudadanía, para su formación básica en salud. Generaremos esos pacientes virtuales y los pondremos a disposición de las asociaciones.
  2. Realización de experimentos a través de las asociaciones, y recogida de resultados y feedback tras el uso de la plataforma por sus asociados.
  3. Ayuda para la difusión de nuestra plataforma entre la ciudadanía. 

 

INTEGRACIÓN DE LA PERSPECTIVA DE GÉNERO

La perspectiva de género es uno de los pilares de la presente propuesta, que busca reducir los errores de diagnóstico y eventos adversos producidos por sesgos de género. En la metodología se incluye la perspectiva de género en tres aspectos:

  1. Creación de pacientes virtuales específicos para capacitar sobre situaciones en las que se producen habitualmente errores debidos a sesgos de género, revisando los algoritmos de IA utilizados para garantizar que los contenidos de la formación reflejen la diversidad de género.
  2. Medidas experimentales analizadas por separado para estos pacientes (como se comenta en párrafos anteriores). Que van más allá de desagregar por sexos.
  3. Análisis del impacto en salud específico para la medida de eventos adversos y reconsultas ocasionados por sesgo de género -(también comentado anteriormente), .fomentando una cultura de equidad en el uso de la IA en salud.

 

BIBLIOGRAFÍA SECCIÓN METODOLOGÍA

 

Alonso-Tapia, J., Merino-Tejedor, E. & Huertas, J.A. Academic engagement: assessment, conditions, and effects—a study in higher education from the perspective of the person-situation interaction. Eur J Psychol Educ 38, 631–655 (2023). https://doi.org/10.1007/s10212-022-00621-0

Alroobaea R, Mayhew PJ (2014) How many participants are really enough for usability studies? In: 2014 Science and Information Conference. IEEE, London, UK, pp 48–56.

Farrés-Tarafa M, Bande D, Roldán-Merino J, et al. Reliability and validity study of the Spanish adaptation of the “Student Satisfaction and Self-Confidence in Learning Scale” (SCLS). Leal-Costa C, ed. PLOS ONE. 2021;16(7):e0255188. doi:10.1371/journal.pone.0255188

Creswell JW. Research Design: Quantitative, Quantitative and Mixed Methods Approaches, 3rd ed. Porto Alegre: Artmed, 2017.

Kalet, Adina L. MD, MPH; Gillespie, Colleen C. PhD; Schwartz, Mark D. MD; Holmboe, Eric S. MD; Ark, Tavinder K. MSc; Jay, Melanie MD, MS; Paik, Steve MD, EdM; Truncali, Andrea MD, MPH; Hyland Bruno, Julia; Zabar, Sondra R. MD; Gourevitch, Marc N. MD, MPH. New Measures to Establish the Evidence Base for Medical Education: Identifying Educationally Sensitive Patient Outcomes. Academic Medicine 85(5):p 844-851, May 2010. | DOI: 10.1097/ACM.0b013e3181d734a5

Roldán-Merino J, Farrés-Tarafa M, Estrada-Masllorens JM, et al. Reliability and validity study of the Spanish adaptation of the “Creighton Simulation Evaluation Instrument (C-SEI).” Nurse Education in Practice. 2019;35:14-20. doi:10.1016/j.nepr.2018.12.007

Souza CC de, Santos WG dos, Salgado P de O, Junior PP do P, Toledo LV, Paiva LC. Evaluating the “satisfaction” and “self-confidence” in nursing students in undergoing simulated clinical experiences. Rev Esc Enferm USP. 2020;54:e03583. doi:10.1590/s1980-220×2018038303583

U.S. Food and Drug Administration (2016) FDA’s guidance document. Applying Human Factors and Usability Engineering to Medical Devices