Comparison of Different Forms of a Test with or without Items that Exhibit DIF
Onder Kamil TULEK, İbrahim Alper Köse · Eurasian Journal of Educational Research · 2019
Problem Durumu : Bir olcme aracinda bulunmasi gereken yapisal niteliklerden en onemlisi olarak kabul edilen gecerlik, klasik anlamiyla bir olcme aracinin olcmek istedigi ozelligi baska ozelliklerle karistirmadan olcebilmesi olarak aciklanabilir. Ancak bir testten elde edilen puanlarin test ile olculmek istenen ozellik disinda farkli degiskenlerden de etkilenmesi her ne kadar istenmeyen bir durum da olsa pratikte bu durum kacinilmazdir. Testi alan bireylerin bulundugu alt gruplarin da bu degiskenlerden ne derece etkilendigi onemlidir. Degiskenlerin alt gruplari farkli bicimlerde etkilemesi ise madde yanliligina sebep olabilmektedir. Yanliliginin ilk kosulu olan Degisen Madde Fonksiyonunun (DMF’nin) bir maddede bulunmasi o maddenin, maddeyi yanitlayan farkli alt gruplardan herhangi birine ya da birkacina avantaj saglamasina neden olmaktadir. Bir testin madde ya da maddelerinde DMF’nin bulunabilme ihtimali ozellikle sonuclarina bakarak bireyler hakkinda cesitli kararlarin alindigi genis olcekli sinavlar icin ayrica dikkat edilmesini zorunlu hâle getirmistir. Oyle ki egitimin bircok alaninda, siralama ya da secme amacli uygulanan sinavlarda alinan kararlar bireyler icin hayati olabilmekte ve bu sinavlarin niteligi alinan kararlarin dogruluguna, isabetli ve yerinde olmasina direkt olarak etki etmektedir. Peki bahsi gecen yanli maddelerin testten arindirilmasi bireyler hakkinda verilen hayati kararlari degistirmekte midir? Yanlilik uzerine yapilan bircok calismada, SBS, TEOG, OSS, PISA, ALES, KPSS gibi genis olcekli sinavlarda DMF iceren maddeler tespit edilmistir Ancak genis olcekli bu sinavlarda DMF iceren maddelerin testten cikarilmasinin sonuclar uzerinde nasil bir etki olusturduguna dair; baska bir ifadeyle DMF’li maddelerin testten cikarilmasiyla yeniden belirlenen sonuclara gore bireylerin sinavdaki basari siralamalarinin etkilenip etkilenmedigine dair calismalar sinirli sayidadir. Arastirmanin Amaci: Bireyler hakkinda hayati kararlarin alindigi sinavlarda belirli bir gruba avantaj saglayan maddelerin testte bulunmasinin bireyler arasinda esitsizlige ve adaletsizlige neden olabilecegi dusunulmektedir. Bu nedenle bu maddelerin testten arindirilmasi gerekli olabilmektedir. Bu dusunceyle gerceklestirilen arastirmanin amaci bir testin DMF’li madde iceren ve DMF’li maddeden arindirilmis formlarindan kestirilen yetenek kestirimlerinin farkli madde sayisi, farkli orneklem buyuklugu ve farkli DMF orani kosullari altinda karsilastirmaktir. Arastirmanin Yontemi: Arastirma kapsaminda arastirmaci tarafindan R 3.4.1 paket programi kullanilarak manipule edilen degiskenlere gore farkli kosullar altinda simulasyon calismasiyla veri uretimi gerceklestirilmistir. Manipule edilen degiskenler duzeylerine gore orneklem buyuklugu (n=1000 ve n=2000), madde sayisi (k=40 ve k=60) ve DMF orani (d=%5 ve d=%10) olarak belirlenmistir. Degiskenlerin caprazlanmasi sonucunda sekiz kosulun her birine uygun olacak sekilde DMF’li madde iceren veriler uretilmistir. Cesitli duzeylerde DMF’li maddeler icerecek sekilde verilerinin uretildigi bir testin oncelikle DMF’li maddeler iceriyorken yetenek kestirimleri gerceklestirilmistir. Testin DMF’li maddeler iceren hâliyle kestirilen yetenek kestirimlerine θ 1 ismi verilerek veriler sakli tutulmustur. Ardindan bu testte yer alan DMF’li maddeler testten arindirilarak ayni sekilde yetenekler kestirilmistir. Testin DMF’li maddeler icermeyen hâliyle kestirilen yetenek kestirimleri ise θ 2 seklinde saklanmistir. Son olarak da ayni testin θ 1 ve θ 2 adiyla elde edilmis olan bu kestirimleri arasindaki iliskiye bakilmistir. Bu yetenek kestirimleri iliskisine gore bireylerin siralamalarinin farklilasip farklilasmadigini tespit etmek amaclandigi icin spearman sira farklari korelasyon analizi uygulanmistir. Arastirmanin Bulgulari: Yontem bolumunde ozetlenen bir testin DMF’li madde iceren ve DMF’li maddeden arindirilmis formlarindan kestirilen yetenek kestirimlerini (θ 1 ve θ 2 ) arasindaki iliski duzeyine bakmak icin gerceklestirilen spearman sira farklari korelasyon analizi sonucunda elde edilen katsayilarin 0’a yakin olmasindan dolayi yetenek kestirimleri arasinda pozitif ya da negatif yonlu bir iliski gorulmemistir. Yetenek kestirimleri arasinda iliski gorulmemesi ise bireylerin test sonuclarindaki siralamalarinin degistigini isaret etmektedir. Baska bir ifadeyle test DMF’li maddeden arindirildiktan sonra bireylerin testteki siralamalari, bir onceki DMF’li madde iceren test formu siralamalarina gore farklilasmistir. Bu tespit, cesitli kosullarin arastirildigi tum alt problemlerde benzer sekilde olmustur. Baska bir ifadeyle madde sayisinin 40 ve 60, orneklem buyuklugunun 1000 ve 2000, DMF oranin %5 ve %10 olarak caprazlandigi 8 farkli kosulda da testin DMF’li maddeden arindirilmasinin bireylerin siralamalarini degistirdigini belirlenmistir. Arastirmanin Sonuclari ve Oneriler: Bu calisma ile bir testin DMF’li madde iceren ve DMF’li maddeden arindirilmis formlarindan kestirilen yetenek kestirimleri arasinda iliski bulunmadigi, baska bir ifadeyle DMF’li maddelerin testten cikarilmasiyla bireylerin basari siralamalarinin degistigi sonucuna ulasilmistir. Bir testin DMF’li maddelerden arindirilmasiyla testi alan bireylerin siralamalarinin farklilasmasi o testin gecerligini yani ozellige sahip olanla olmayani ayirt etme derecesini problemli hâle getirebilecektir. Oyle ki testte DMF’li madde bulunmasi testin gecerligine onemli bir tehdit olustururken bu maddelerin testten cikarilmasiyla bireylerin siralamalari degisiyorsa, yapilan arindirma isleminin onemli bir etkisinin oldugu gorulmektedir. Bu durum, gerek ulusal gerekse de uluslar arasi duzeyde bireyler hakkinda hayati kararlarin alindigi, sonuclarina bakilarak secme ve yerlestirme islemlerinin gerceklestirildigi sinavlarin bireyler arasindaki farkliliklari olcme derecelerinin sorgulanabilir oldugunu gosterebilmektedir.