A meta-evaluation research on measurement and evaluation course

Abstract

Bu çalışmada, Eğitimde Ölçme ve Değerlendirme Dersi Programının Değerlendirilmesi başlıklı çalışmanın metadeğerlendirmesinin yapılması amaçlanmıştır. Bu amaç doğrultusunda çalışmanın Eğitimde Değerlendirme Standartları Ortak Komitesi (JCSEE) tarafından belirlenen Program Değerlendirme Standartlarını ne ölçüde karşıladığı ortaya koyulmuştur. Araştırmada yöntemsel olarak meta-değerlendirme prosedürleri benimsenmiş, bu bağlamda gerçekleştirilen işlemlerde JCSEE tarafından belirlenen Değerlendirmede Hesap Verebilirlik standartları dikkate alınmıştır. Meta-değerlendirmesi yapılan araştırmanın gerekli standartları taşıyıp taşımadığının kontrolünde ise araştırmacılar tarafından geliştirilen Program Değerlendirme Standartları Kontrol Listesi kullanılmıştır. Bu amaçla bir iç, bir de dış değerlendirici tarafından çalışmanın etkin bir program değerlendirme araştırmasında olması gereken doğru planlama, geçerli ve güvenilir veri toplanma, gerekli analizleri yapma ve raporlaştırma niteliklerini taşıyıp taşımadığına yönelik kontroller yapılmıştır. İç ve dış değerlendiricilerden elde edilen verilere göre bu araştırma JCSEE tarafından belirlenen Program Değerlendirme Standartları’nı büyük oranda (%88,33) karşılamaktadır. Ayrıca her iki değerlendiriciye göre Amaca Uygunluk Standartları %88,9, Fizibilite Standartları %75, Doğruluk Standartları %100 oranında karşılanırken, Uygunluk Standartları dış değerlendiriciye göre %87,5, iç değerlendiriciye göre ise %75 oranında karşılanmaktadır. Bunun yanında uzmanlar araştırmada özellikle kültürel değerler, çıkarlar, bağlamlar ve çıkar çatışmaları kavramları hakkında yeterli bilgi sağlanmadığı görüşündedir. Araştırma bulgularından yola çıkarak program değerlendirme ve meta-değerlendirme çalışmalarının daha etkin bir biçimde yürütülmesine yönelik öneriler sunulmuştur.

This study aimed to make a meta-evaluation of the study titled Evaluation of Measurement and Evaluation in Education Curriculum. For this purpose, the study was conducted to determine the extent to which the research complies with the Program Evaluation Standards determined by the Joint Committee on Standards for Educational Evaluation (JCSEE). Methodologically, meta-evaluation procedures were adopted in the research, and the Evaluation Accountability Standards determined by JCSEE were considered in the transactions carried out in this context. The Program Evaluation Standards Checklist developed by the researchers was used to control whether the meta-evaluated research met the required standards. For this purpose, controls were made by an internal and an external evaluator to reveal whether the study has the qualities of accurate planning, valid and reliable data collection, performing the necessary analyzes, and reporting, which should be in an effective program evaluation research. The results of the meta-evaluation indicate that the study under examination demonstrates a high degree of alignment with the Program Evaluation Standards used by internal and external evaluators, with a concordance rate of 88.33%. In addition, according to both evaluators, Utility Standards were met by 88.9%, Feasibility Standards by 75%, and Accuracy Standards by 100%, while Propriety Standards were met at a rate of 87.5% according to the external evaluator and 75% according to the internal evaluator. Moreover, the experts think that more information should have been provided in the research, especially about the concepts of cultural values, interests, contexts, and conflicts of interest. Based on the research findings, suggestions were made to conduct program evaluation and metaevaluation studies more effectively