Introdução: A educação médica está diretamente ligada à aquisição de um conjunto de competências técnicas e habilidades clínicas. Entre as ferramentas para realização dessas habilidades existem os métodos tradicionais e, como uma alternativa, está sendo aplicado o uso da inteligência artificial (AI). Objetivo: Analisar as aplicações da Inteligência Artificial na verificação de competências técnicas comparado aos métodos tradicionais de avaliação, na melhora da precisão e a eficácia na aferição das competências técnicas e do raciocínio diagnóstico para estudantes da área médica. Método: Foi realizada uma revisão sistemática, tendo como base a pergunta PICO: “Para estudantes da área médica, o uso de Inteligência Artificial, comparado aos métodos tradicionais de avaliação, melhora a precisão e a eficácia na avaliação das competências técnicas e do raciocínio diagnóstico?”. A busca dos textos foi efetuada em seis bases de dados distintas: U.S. National Institutes of Health's National Library of Medicine (NIH/NLM - PubMed), Scientific Electronic Library Online (Scielo), Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), Medical Literature Analysis and Retrieval System Online (MEDLINE), Biblioteca Virtual em Saúde (BVS) e Literatura Latino-Americana e do Caribe em Ciências da Saúde (LILACS), e seguiu as diretrizes da Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) para otimizar o rigor metodológico. Resultados: Os estudos demonstraram que a IA mostra-se como uma ferramenta complementar ao ensino tradicional, apesar de apresentar vantagens, requer supervisão humana, não substituindo plenamente o ensino tradicional. Conclusão: Diante do exposto, notou-se que apesar do potencial inovador do uso da IA, ainda existem limitações importantes a serem superadas. As evidências indicam que um modelo de ensino híbrido e progressivo, que combine recursos tecnológicos e métodos tradicionais, é o mais adequado.