This study aims to determine whether items in the Ankara University Examination for Foreign Students Basic Learning Skills Test function differently according to country and gender using the Recursive Partitioning Analysis in the Rasch Model. The variables used in the recursive partitioning of the data are country and gender. The population of the study is composed of 2476 individuals. Since the study includes comparisons across countries, the country is accepted as a criterion in determining the sample group. Thus, the sample of the study consists of 615 individuals selected from Azerbaijan, Bulgaria, and Syria. To investigate differential item functioning (DIF) of the items of the test, the Rasch tree method was used. As a result of the analysis, DIF has been detected in 16 items at the 0.001 significance level. However, these items have been identified to have similar difficulty parameters in all countries. Finally, items have not shown DIF according to gender.
Psikolojik özelliklerin ölçülmesinde 1800’lü yıllardan itibaren önemli değişmeler yaşanmıştır. Bir yandan zekâ, tutum, algı, kişilik, yetenek, başarı gibi psikolojik yapıların ölçülmesinde, diğer yandan ölçme kuramlarında önemli gelişmeler olmuştur. Psikometri alanındaki bu ilerlemeler okul öğrenmelerinin ölçülmesine katkı sağlamış, ancak doğrudan okul öğrenmelerinin kendisiyle ilişkili olamamıştır. 1900’lü yıllardan itibaren güvenirlik ve geçerlik üzerinde yapılan çalışmalar, sınıf içi başarının belirlenmesi süreçlerinde de etkili olmuştur. Öğretmen yapımı testlerin istenen güvenirlik ve geçerlik değerlerine sahip olabilmesi için çok sayıda maddeden oluşan testlerin kullanımı yaygınlaşmıştır. Bu durum öğretmenlerin, testlerinde konu boyutu açısından çoğunlukla öğrenme düzeyini gösteren kapsam temelli öğrenmelere; bilişsel boyutlar açısından ise çoğunlukla hatırlama, anlama ve uygulama düzeyindeki bilişsel süreçlere yönelmesine neden olmuştur. Bu değişimler olumlu yönde olsa da okulların yerine getirmesi gereken öğrenmelerin gerçek yaşam durumlarında kullanılması işlevinin gelişmesi önünde engel oluşturmuştur. Öğrenciler okullardan temel bilgileri öğrenen ancak bu bilgilerini doğal ve toplumsal yaşam durumlarında istenen düzeyde kullanamayan bireyler olarak mezun olmuşlardır. Eğitimde sözü edilen olumsuz koşulların değiştirilmesi isteği eğitim-öğretim süreçlerinde güncellemeleri kaçınılmaz kılmaktadır. Öğrencilerin başarısında etkili olduğu düşünülen ve 21. yüzyıl becerileri olarak adlandırılan bilişsel, içsel ve kişilerarası yeterliklerin de ölçme ve durum belirleme sürecine dahil olması bu açıdan önemli görülmektedir. Bu çalışma sınıf içi ölçmelerin dünü, bugünü ve geleceği ekseninde ele alınmış ve savunulan düşünce açıklayıcı bir ölçme ve durum belirleme örneğiyle desteklenmiştir.
4 December 2021 in International Journal of Assessment Tools in Education
Educational assessment tests are designed to measure the same psychological constructs over extended periods of time. This feature is important considering that test results are often used in the selection process for admittance to university programs. To ensure fair assessments, especially for those whose results weigh heavily in selection decisions, it is necessary to collect evidence demonstrating that the assessments are not biased, and to confirm that the scores obtained from different test forms have statistical equality. For this purpose, test equating has important functions, as it prevents bias generated by differences in the difficulty levels of different test forms, allows the scores obtained from different test forms to be reported on the same scale, and ensures that the reported scores communicate the same meaning. In this study, these important functions were evaluated using real college admission test data from different test administrations. The kernel equating method under the non-equivalent groups with covariates design was applied to determine whether the scores obtained from different time periods but measuring the same psychological constructs were statistically equivalent. The non-equivalent groups with covariates design was specifically used because the test groups of the admission test are non-equivalent and there are no anchor items. Results from the analyses showed that the test forms had different score distributions, and that the relationship was non-linear. The equating procedure was thus adjusted to eliminate these differences and thereby allow the tests to be used interchangeably.
29 November 2022 in International Journal of Assessment Tools in Education
Feedback plays an important role in classroom learning and teaching process. This study focuses on how feedback can be more effectively used in the formative assessment process. According to this purpose, the study first discusses the concept of student achievement and presents its changing nature in the 21st century. Subsequently, the study addresses higher-order thinking skills, the use of open-ended items in improving student achievement in the classroom, rubrics, formative assessment, and feedback. The study aims to present an exemplary measurement and assessment model that will contribute to the development of student achievement. Additionally, it examines the use of a feedback approach that will improve the power of using the knowledge of the students learned in lessons in daily life by associating it with basic life skills in the formative assessment process. Accordingly, teachers are provided with a unique means that they can easily use in improving classroom success. In the study, an open-ended item has been developed that has a real-life counterpart is used to provide information on the improving of student achievement, while a rubric used in scoring the answers to the item is also developed. The answer categories in the rubric show the place of the student in the distribution of success. Thus, teachers will be able to see what students can and cannot do, as well as be able to give accurate and realistic feedback on what needs to be done for the development of student achievement.
1 January 2014 in Ankara Universitesi Egitim Bilimleri Fakultesi Dergisi
Bu araştırmanın genel amacı, Ankara Üniversitesi Yabancı Uyruklu Öğrenci Sınavı'nda yer alan Temel Öğrenme Becerileri Testi’nin faktör yapılarını belirleyerek testin ülkelere ve cinsiyete göre ölçme değişmezliğine sahip olup olmadığını ve testte yer alan maddelerin madde işlev farklılığı gösterip göstermediğini ortaya koymaktır. Bu araştırma betimsel araştırma modellerinden tarama türündedir. Araştırmanın genel evrenini 2134 birey oluşturmaktadır. Araştırma, kültürler arası karşılaştırmaları içerdiği için kültür, örneklem seçiminde ölçüt alınmıştır. Buna göre, Almanya, Azerbaycan ve İran’dan seçilen 1110 birey örneklemi oluşturmuştur. Araştırmada Temel Öğrenme Becerileri Testi’nin ilk 60 maddelik harf, sayı ve şekil ilişkilerine dayalı bölümü kullanılmıştır. Testin faktör yapısını belirlemede Örtük Sınıf Analizi ve Örtük Sınıf Faktör Analizi, ülkelere ve cinsiyete göre ölçme değişmezliğine sahip olup olmadığını ortaya koymada Eşanlı Örtük Sınıf Analizi kullanılmıştır. Testte yer alan maddelerin ülkelere ve cinsiyete göre madde işlev farklılığı gösterip göstermediğini belirlemede ise, Rasch Modeline dayalı Özyinelemeli Bölümleme Analizi kullanılmıştır. Temel Öğrenme Becerileri Testi’nin faktör yapısını belirlemeden önce testin bir bütün olarak ölçek yapısı eğilimi gösterip göstermediği, testi alan bireylerin yanıt örüntüleri açısından hangi sınıflarda yer aldıkları incelenmiştir. Buna göre, testin dört sınıflı örtük bir modele sahip olduğu ve birden fazla faktör yapısı içerdiği görülmüştür. Bu faktörler sırasıyla, parça-bütün ilişkisi kurma, çıkarım yapma ve analitik düşünme olarak adlandırılmıştır. Testin ülkelere ve cinsiyete göre ölçme değişmezliğine ilişkin bulguları incelendiğinde ise, testin homojen bir yapıya sahip olduğu bulgusuna ulaşılmıştır. Sonuç olarak testin ölçtüğü yapı, karşılaştırılan gruplar açısından eşdeğerdir. Testte yer alan maddelerin ülkelere ve cinsiyete göre madde işlev farklılığı gösterip göstermediğine bakıldığında ise, ülkeler açısından 14 maddede madde işlev farklılığına rastlanmıştır. Cinsiyet açısından ise madde işlev farklılığına rastlanmamıştır.