13 August 2025 in Physical Review Physics Education Research
Large language models (LLMs) are now widely accessible, reaching learners across all educational levels. This development has raised concerns that their use may circumvent essential learning processes and compromise the integrity of established assessment formats. In physics education, where problem solving plays a central role in both instruction and assessment, it is therefore essential to understand the physics-specific problem-solving capabilities of LLMs. Such understanding is key to informing responsible and pedagogically sound approaches to integrating LLMs into instruction and assessment. This study therefore compares the problem-solving performance of a general-purpose LLM ( G P T − 4 o , using varying prompting techniques) and a reasoning-optimized model ( o 1 ) with that of participants in the German Physics Olympiad, based on a set of well-defined Olympiad problems. In addition to evaluating the correctness of the generated solutions, the study analyzes the characteristic strengths and limitations of LLM-generated solutions. The results of this study indicate that both tested LLMs ( G P T − 4 o and o 1 ) demonstrate advanced problem-solving capabilities on Olympiad-type physics problems, on average outperforming the human participants. Prompting techniques had little effect on G P T − 4 o ’s performance, and o 1 almost consistently outperformed both G P T − 4 o and the human benchmark. The main implications of these findings are twofold: LLMs pose a challenge for summative assessment in unsupervised settings, as they can solve advanced physics problems at a level that exceeds top-performing students, making it difficult to ensure the authenticity of student work. At the same time, their problem-solving capabilities offer potential for formative assessment, where LLMs can support students in evaluating their own solutions to problems.
8 February 2017 in European Journal of Physics
Student competitions can act as potent enrichment measures and complement formal schooling in fostering students' motivation as well as promoting their skills. This article presents the German Physics Olympiad, the national precursor to the International Physics Olympiad, in the general context of student competitions in Germany and its integration with the so called Science Olympiads in Germany. To put the German Physics Olympiad into an international context its structure and some of its features are compared with data on Physics Olympiads in other countries. As an outlook we elaborate on some of the challenges the Physics Olympiad in Germany is facing and present two research projects that further support the development of the competition.
31 January 2025 in Physical Review Physics Education Research
Problem solving is considered an essential ability for becoming an expert in physics, and individualized feedback on the structure of problem-solving processes is a key component to support students in developing this ability. Problem-solving processes consist of multiple elements whose order forms the sequential structure of these processes. Specific sequential structures can be expected to better reflect expert problem solving and more likely lead to successful solutions. However, this sequential structure often receives limited attention in assessments, thereby neglecting possibly valuable diagnostic information that could be used for individualized feedback. Consequently, a deeper understanding of the sequential structure of students’ written physics problem-solving approaches could leverage novel potentials for physics instruction and feedback provision. This study therefore aimed to examine how the sequential structure of written problem-solving approaches differs between high- and low-performing problem solvers as well as to what extent specific sequential elements are predictive of problem-solving performance. To achieve this, we employed methods from process mining and sequence analysis research. Our findings revealed that low-performing problem solvers often lack structure in their problem-solving approaches, contrasting with notably more systematic approaches of the high-performing problem solvers. Additionally, the order in which assumptions and conceptual aspects are addressed in a problem-solving approach seems to be an indicator of problem-solving performance. The findings of this study enhance our understanding of physics problem-solving processes and highlight opportunities for improving instruction and feedback for physics problem solving by considering the sequential structure of students’ physics problem-solving approaches.
21 September 2016 in Zeitschrift für Didaktik der Naturwissenschaften
Das Physikstudium ist in Deutschland durch überdurchschnittlich hohe Abbruchquoten gekennzeichnet. Unklar ist jedoch, welche Faktoren ein erfolgreiches Physikstudium bedingen. Ausgehend von theoretischen Überlegungen und empirischen Befunden zum Einfluss der kognitiven und fachlichen Dimension der Studierfähigkeit auf den Studienerfolg wurden im Rahmen der hier vorgestellten Studie N = 158 Erstsemesterstudierende an einer norddeutschen Universität befragt. Mit Hilfe einer logistischen Regression wurde der Einfluss der kognitiven und fachlichen Prädiktoren auf die Wahrscheinlichkeit des Bestehens der Abschlussklausur analysiert. Dabei konnte festgestellt werden, dass durch die Gesamtnote im Abitur und die letzte Physiknote das Bestehen von 87 % der Probanden korrekt prognostiziert wird. Die Leistung im Vorwissenstest trägt zunächst nicht zur Verbesserung der Prognose bei. Betrachtet man jedoch die Note in der Abschlussklausur der erfolgreichen Probanden mit einer multiplen linearen Regression, so wird die Leistung im Vorwissenstest als einziger Prädiktor signifikant. Unterschiede im Vorwissen können somit zu einem gewissen Teil im Laufe eines Semesters kompensiert werden. Zur optimalen Förderung aller Studierenden ist es daher nötig, vorhandene Unterstützungsmaßnahmen wie Tutorien oder Vorbereitungskurse über fachspezifische Unterstützungsmaßnahmen hinaus auszubauen.
16 January 2024 in International Journal of Science Education
5 July 2019 in Zeitschrift für Didaktik der Naturwissenschaften
Der vorliegenden Artikel zielt darauf ab, qualitative Fähigkeitsniveaus für das fachdidaktische Wissen angehender Physiklehrkräfte zu formulieren. Neben dem Fachwissen und dem pädagogischen Wissen stellt das fachdidaktische Wissen den zentralen Bereich des Professionswissens von Lehrkräften dar, da er sowohl für die Qualität des Unterrichts als auch für den Lernerfolg der Schülerinnen und Schüler entscheidend ist. Diese besondere Stellung des fachdidaktischen Wissens begründet das Interesse an einer kriterienorientierten Interpretation vorhandener Wissensstrukturen im fachdidaktischen Wissen und seinen Facetten. Für eine solche Interpretation vorhandener Wissensstrukturen sind Niveaumodelle hilfreich, da sie eine Klassifikation unterschiedlicher Wissensqualität erlauben. Zur Etablierung eines Niveaumodells wurden Daten einer Querschnittserhebung von N = 200 angehenden Physiklehrkräften mit Hilfe des Rasch-Modells analysiert. Die ermittelten Parameter wurden anschließend durch das Scale-Anchoring-Verfahren in numerische Niveaugrenzen überführt. Es lassen sich vier numerische Niveaugrenzen entlang des fachdidaktischen Wissens identifizieren. Eine Analyse der Aufgaben für jedes Fähigkeitsniveau und jede Facette liefert dann eine inhaltliche Beschreibung der Fähigkeitsniveaus. So zeigt sich beispielsweise im Wissen über Instruktionsstrategien, dass Studierende auf unteren Niveaus verschiedene Instruktionsstrategien benennen können und auf höheren Niveaus in der Lage sind, Instruktionsstrategien situativ zu reflektieren. Somit erlaubt das konstruierte Niveaumodell eine kriterienorientierte Interpretation vorhandener Wissensstrukturen im fachdidaktischen Wissen und leistet eine über die bisherigen qualitativen Beschreibungen des fachdidaktischen Wissens hinausgehende Beschreibung der Wissensstruktur, die insbesondere für die universitäre Ausbildung von Bedeutung ist. The present study aims at constructing a competency level model in pre-service physics teachers’ pedagogical content knowledge. In addition to content knowledge and pedagogical knowledge, pedagogical content knowledge has been suggested as an important vehicle to describe teachers’ professional knowledge. That is, pedagogical content knowledge shows significant impact on the quality of teaching and students’ learning outcomes. Given the special role of pedagogical content knowledge, there is a great demand to assess teachers’ pedagogical content knowledge according to the knowledge structure and to group teachers along their competency level. Nevertheless, no competency level model exists that enables a criteria-oriented interpretation of pedagogical content knowledge structure. For this purpose, data from a cross-sectional study of N = 200 pre-service physics teachers was analyzed using Rasch analysis. The ability and difficulty parameters then were converted into skill levels by the scale anchoring procedure. Findings show that four competency levels can be identified. Additionally, items’ analyses for each level and each facet provide a successive competency level model. For instance, students at lower levels are able to name different instructional strategies, whereas students at higher levels are able to reflect instructional strategies regarding different situations. Thus, the competency level model allows an interpretation of students’ knowledge structure and therefore goes beyond previous qualitative descriptions of pedagogical content knowledge. The article discusses the implications of the findings for teacher education and development of pedagogical content knowledge.