Introduction: Large language model-based AI systems are increasingly used in medical education, but their educational value in multilingual, high-stakes examination settings remains insufficiently defined. Objective: To assess the accuracy of latest-generation AI systems on the official 2026 Spanish Médico Interno Residente (MIR) examination and compare their performance with the Healthcademia chatbot, AMIR faculty experts, and average candidates. Materials and Methods: A cross-sectional quantitative evaluation analyzed all 200 valid questions from the official MIR 2026 Version 0 booklet. Performance was assessed using automated pipelines for text-only items and manual multimodal input for the 24 image-associated questions. Two instruction conditions, neutral and expert-role, were tested, with additional effort-level stratification for GPT-5.2. Accuracy was measured against the final official answer key. Human comparison groups included AMIR faculty experts and the average MIR candidate. Results: Several latest-generation AI systems showed very high accuracy on the MIR 2026 examination. The highest-performing configuration, GPT-5.2 high effort without expert-role instruction, achieved 199/200 correct answers (99.5%). Gemini 3 Flash with expert-role instruction achieved 198/200 (99.0%). AMIR faculty experts achieved 194/200 (97.0%), whereas the average candidate achieved 131/200 (65.7%). On image-associated questions, several multimodal configurations achieved 24/24 correct answers when the corresponding image was provided. Conclusions: Under the conditions evaluated in this study, several AI configurations achieved near-perfect accuracy on a complete, high-stakes national medical licensing examination. These findings support licensing-style examinations as benchmarks for educational AI and suggest potential use in supervised feedback and self-assessment. Performance on multiple-choice items should not be interpreted as evidence of autonomous clinical reasoning.
Objetivo: Evaluar si un sistema de informe estructurado asistido por Large Language Models puede integrarse de forma práctica en el trabajo de residentes de Radiología durante las guardias. Como objetivos secundarios: describir preferencias de formato mediante evaluación ciega, caracterizar diferencias lingüísticas entre informes manuales y asistidos, e identificar riesgos percibidos para un estudio confirmatorio. Métodos: Estudio piloto con dos componentes. En la fase prospectiva, cuatro residentes generaron 480 informes alternando redacción manual y asistida por LLM (Custom GPT-4o). En paralelo, se analizaron 200 informes anonimizados de adjuntos para contextualizar las métricas. Se empleó una encuesta ad hoc tipo Likert (seis dimensiones) y se calcularon métricas de clasificación y perplejidad como indicadores descriptivos. Resultados: La herramienta fue bien recibida. Las medianas Likert oscilaron entre 4,75 y 4,90 sobre 5. Los residentes distinguieron con precisión qué informes habían sido asistidos (F1 = 0,92), lo que sugiere una huella formal reconocible. Se observó sesgo de autoatribución en las preferencias ciegas. La perplejidad difirió entre residentes y adjuntos (p = 0,03), apuntando a mayor regularidad en profesionales experimentados. Conclusiones: Los hallazgos respaldan la integración inicial del asistente en el circuito de guardias. El interés reside en su función de andamiaje para estandarizar la comunicación entre residentes y médicos peticionarios, no en automatizar el razonamiento diagnóstico.