A Comparison of Kernel Equating Methods Based on Neat Design
Çiğdem Akın Arıkan · Eurasian Journal of Educational Research · 2019
Problem Durumu: Esitleme benzer icerik ve gucluk duzeyinde gelistirilen test formlari arasindaki farkliliklari duzenleyerek, bu formlardan elde edilen puanlarin birbiri yerine kullanilmasini saglayan istatistiksel bir surec olarak tanimlanabilir (Kolen, 1988). Test esitleme yontemleri yaklasik 100 yildir psikometristlerin dikkatini cekmekte ve yeni yontemler gelistirilmektedir. Esitleme yontemleri esit yuzdelikli esitlemeye dayali yontemler, dogrusal esitleme yontemleri, MTK gozlenen ve gercek puan esitleme, van der Linden yerel esitleme, Levine dogrusal olmayan metot ve yeni bir yaklasim olan Kernel esitlemeyi kapsar (von Davier, 2013). Tek grup, esdeger grup ve denk olamayan gruplarda ortak madde test deseninde kullanilir (von Davier et al., 2004). Denk olmayan gruplarda ortak madde deseni (Non-Equivalent groups Anchor Test-NEAT), test guvenligi nedeniyle test formunun birden daha fazla uygulandigi durumlarda kullanilir. NEAT deseninde, her iki formda ortak maddeler yer alir ve test formlari arasindaki esitleme iliskisi de ortak maddeler uzerinden kurulur (Kolen ve Brennan, 2014). Kernel esitleme dogrusal ve esit yuzdelikli esitleme yontemlerini icerir. NEAT deseninde zincirleme estileme (dogrusal ve esit yuzdelikli), son tabakalama (esit yuzdelikli ve dogrusal), Levine gozlenen puan dogrusal esitleme yontemleri bulunmaktadir. Yeni bir yaklasim olan Kernel esitleme yontemlerinin geleneksel esitle yontemleri ve Madde Tepki Kurami estilem yontemleri ile karsilastirildigi calismalar bulunmakdadir. Bu calismanin amaci ise, Turkiye’nin de yer aldigi TIMMS fen datasindaki Kernel esitleme yontemlerine gore esitlenmesidir. Arastirmanin Amaci: Bu arastirmanin amaci, TIMMS fen datasindaki 1. Ve 14. Kitapciklarinin Kernel esitleme yontemlerinden zincirleme ve son tabakalama esitleme yontemlerine gore esitlenerek, en iyi esitleme yonteminin belirlenmesidir. Arastirmanin Yontemi: TIMSS 2015 arastirmasinin yapildigi donemde Turkiye’de toplam 1.108.572 4. sinif ogrencisi, 1.187.893 de 8. sinif ogrencisi bulunmaktadir. 6456, 4. sinif ogrencisi ve 6079, 8. Sinif ogrencisi TIMMS uygulamasina katilmistir. Arastirmanin orneklemini ise Turkiye’deki TIMMS uygulamasina katilan 8 sinif ogrenciler arasindan, bu uygulama esnasinda 1. ve 14. kitapciklari alan 865 ogrenci olusturmaktadir. Veri analizi icin TIMMS 2015 uygulanmasina katilan Turkiye’deki 8. sinif ogrencilerin fen okuryazarligi maddelerine verdigi cevap oruntulerinden olusan veri setinden yararlanilmistir. Bu calismada TIMMS uygulamasinda yer alan 14 kitapciktan 1 ve 14 nolu kitapciklarda yer alan maddeler kullanilmistir. 4 nolu kitapcikta 39, 14 nolu kitapcikta 38 madde yer almaktadir. Yanlis ve kayip veriler 0 ve kismi puanlanan ve dogru cevaplarin hepsi 1 olarak kodlanarak analiz edilecek veri hazirlanmistir. Verilerin analizinin birinci asamasinda, Kernel zincirleme ve Kernel son tabakalama esit yuzdelikli ve dogrusal esitleme yontemlerine gore kitapciklar esitlenmistir. Daha sonra esitleme yontemleri DTM, PRE, SEE, SEED ve RMSD kriterlerine gore degerlendirilmistir. Arastirmanin Bulgulari: Kernel zincirleme esit yuzdelikli, zincirleme dogrusal, son tabakalama dogrusal ve son tabakalama esit yuzdelikli esitleme yontemlerine gore kitapciklar estilendigind eilk olarak PRE degerleri elde edilmistir. KE zincirleem esit yuzdelikli ve son tabakalama esit yuzdelikli esitleme yontemlerine datanin daha iyi uyum sagladigi elde edilmistir. Esitleme yontemleri karsilastirildiginda, esit yuzdelikli esitleme yontemlerinin ve dogrusal esitleme yontemlerinin birbiriyle benzer sonuclar urettigi ve aralarindaki farkin DTM’den kucuk oldugu elde edilmistir. Esitleme yontemlerine gore SEE degerleri karsilastirildiginda, orta puan olceginde bu degerlerin birbirlerine yakin oldugu gorulmektedir. Uc puanlarda ise Kernel esit yuzdelikli esitleme yontemleri dusuk, dogrusal esitleme yontemleri ise yuksek standart hatalara sahip oldugu elde edilmistir. Esitleme yontemlerine gore SEED degerleri karsilastirildiginda, esitleme yontemleri arasindaki farkin DTM’den kucuk oldugu ve ±2 SEED cizgisi arasinda kaldigi bulunmustur. Esitleme yontemlerine karisan random hatayi degerlendirebilmek icin RMSD katsayisi hesaplanmistir. En az random hata iceren esitleme yontem son tabakalama esitleme yonteminde iken en fazla random hata iceren yontemin zincirleme dogrusal esitleme yonteminde oldugu elde edilmistir. Arastirmanin Sonuclari ve Onerileri : Kernel esitleme yontemleri ortalama SEE acisindan karsilastirildiginda, dogrusal esitleme yontemlerinin esit yuzdelikli yontemlere gore daha yuksek ortalama SEE sahip oldugu bulunmustur. Bu bulgu Choi (2009) ve Liou ve digerlerinin (1997) bulgulariyla tutarli olmadigi gorulmektedir. Elde edilen bu sonuc diger calismalarda simulasyon data veya genis orneklem buyuklugunun kullanilmasindan kaynakli olabilir. Ayrica KE dogrusal esitleme yontemlerinde uc puanlarda orta puanlara gore daha yuksek standart hata verdigi bulunmustur. Bu bulgu literaturdeki calismalari desteklemektedir. RMSD katsayilari karsilastirildiginda en az random hata iceren yontem son tabakalama esitleme yontemi iken en fazla random hata iceren yontemin zincirleme dogrusal esitleme oldugu gorulmustur. Elde edilen bu sonuclardan hareketle, gelecek calismalarda farkli kriterler kullanilarak farkli esitleme yontemleri kullanilabilir ve bu calismanin sonuclariyla karsilastirilabilir.