Matemetik testinin ölçme değişmezliğinin ülkelere göre incelenmesi

TIMSS 2015 DÖRDÜNCÜ SINIF MATEMATİK TESTİNİN ÖLÇME
DEĞİŞMEZLİĞİNİN ÜLKELERE GÖRE İNCELEMESİ

YÜKSEK LİSANS TEZİ ( AYŞENUR TAVLICA )

1.1 Problem Durumu

Hedefler, yaşam boyu çalışma ve gayretleri doğru biçimde yönlendirmeye yardımcı olur ve
başarının hangi alanlarda olacağının bilgisini verir. Bu hedeflerin eğitimde kullanılma amacı
ise öğrencilere hangi davranışların kazandırılacağını göstermesidir (Anderson ve Krathwohl,
2001).
Eğitim hedefleri zaman içerisinde özellikle 1950’li yıllardan itibaren büyük değişimlere
uğramıştır. Bu değişimlerin en çok hissedildiği ülkelerin başında Amerika Birleşik Devletleri
gelmektedir (Korkmaz, 2004). Ülkelerin statüsünü belirleyen en önemli unsurlardan biri olan
bilim ve teknoloji toplumsal ilerlemenin başlangıç noktası olarak kabul edilmektedir (Bayır,
Çakıcı ve Atalay, 2016). Bulunduğumuz çağa damgasını vuran bilgi teknolojileri, dünyanın
birçok ülkesinde pozitif bilimlerin eğitimine verilen önemin ve kaynakların artırılmasını
sağlamış ve özellikle teknolojilerini büyük bir hızla geliştiren ülkeler arasında bir yarış ortamı
oluşmasına sebep olmuştur. Öğretim programlarını bu doğrultuda yenileyen ülkeler özellikle
fen ve matematik eğitimine ağırlık vermişlerdir (Çepni, Ayas, Johnson ve Turgut, 1997). Bu
durum günümüzde de artarak devam etmektedir. İnsan kaynakları, ülkelerin gelişmesinin,
yaşam standartlarının yükselmesinin; kalite ve verimin merkezinde bulunması sebebiyle bilgi
toplumlarında oldukça önemli bir konumdadır (Ergül, 1999). Dolayısıyla insan kaynaklarının
bilgi toplumlarında çağın gerektirdiklerine uygun donanımlara sahip olması amaçlandığından
bu durum doğrudan eğitimi ilgilendirmektedir. Teknolojinin sürekli gelişimi ve güncellenen
bilgilerle eğitim ve öğretim programlarının da güncellenmesi kaçınılmazdır. Bu nedenle
önemli bazı uluslararası kuruluşlar eğitim alanında araştırmalar yapmaktadır.
Pek çok ülke eğitim sistemlerine eleştirel bir bakış açısı geliştirmek ve sisteme dair
eksikliklerini tespit ederek bu noktalarda gerekli çalışmaları yürütmek amacıyla çeşitli
araştırmalar yürütmektedir (Millî Eğitim Bakanlığı [MEB], 2010). Değerlendiriciler bu
araştırmaların sonuçlarını öğrencilerin performansını karşılaştırmak ve katılımcı ülkelerdeki
eğitim politikaları ile uygulamaların etkililiğini değerlendirmek için kullanmaktadır (Gierl,
2000).
Türkiye’nin de katıldığı bu araştırmalardan biri Uluslararası Matematik ve Fen Eğilimleri
Araştırmasıdır (Trends in International Mathematics and Science Study-TIMSS). Öğrencilerin
matematik ve fen alanlarında kazandıkları bilgi ve becerilerin değerlendirilmesine yönelik bir
tarama araştırması olan TIMSS (TIMSS, 2015), Hollanda merkezli Uluslararası Eğitim
Başarılarını Değerlendirme Kuruluşu’nun (International Association for the Evaluation of
Educational Achievement-IEA) bir projesidir. 1959’dan bu yana öğrenci eğitim başarısı ile
ilgili uluslararası karşılaştırmalı çalışmalar yürütmekte olan IEA, ülkelerin birbirlerinden
etkili eğitim yaklaşımları hakkında bilgi edinebilmelerine katkı sağlayan, ülkeler arası eğitim
ve öğrenmede kullanılan farklı yöntemlere ilişkin uluslararası başarıya ilişkin çalışmalara
öncülük etmiştir. TIMSS, dört yıllık aralıklarla dördüncü ve sekizinci sınıf düzeyindeki
öğrencilere uygulanmaktadır. Her uygulamada okul ve sınıflar ülke genelini yansıtacak
biçimde rastgele seçilmektedir. Ülkeler 4. ve 8. sınıf düzeyinde uygulanan sınava sadece 4.
sınıf veya sadece 8. sınıf düzeyinde, ya da her iki düzeyde katılabilmektedir. Ayrıca, TIMSS’
in dördüncü sınıf öğrencileri için çok zor olabileceği ülkelerde, TIMSS, beşinci veya altıncı
sınıftaki öğrencilere ve sekizinci sınıf öğrencileri yerine dokuzuncu sınıfta da benzer biçimde
verilebilir (TIMSS, 2015). TIMSS’ in genel olarak amacı, araştırmaya katılan ülkelerdeki dört ve sekizinci sınıf
öğrencilerinin matematik ve fen alanlarındaki başarılarını ölçmek, eğitim ve öğretimin
okullarda nasıl gerçekleştiğini, eğitim sisteminin etkinlik ve verimliliğini, ülkelerin eğitim
sistemleri arasındaki farklılıkları belirlemek ve değerlendirmektir (TIMSS, 2015). TIMSS’ in
bir diğer amacı, matematik ve fen alanında öğretimi ve öğrenmeyi geliştirmek için
kullanılabilecek önemli bir arka plan bilgisi sağlamaktır. Bu amaç doğrultusunda başarı
testleri ve çeşitli anketler kullanılarak öğrencilerin fen ve matematik alanındaki
performansları, eğitim sistemleri, öğretim programları, öğrenci özellikleri, öğretmen ve
okulların karakteristik özellikleri ile ilgili bilgiler toplanmaktadır.
TIMSS ile düzenli aralıklarla öğrenci başarısındaki değişiklikler izlenmekte, yeni veya
gözden geçirilmiş eğitim politikalarının başarıyı etkileyip etkilemediğini araştırılmaktadır. İlk
uygulamalarının ardından açıklanan TIMSS ve PISA sonuçları katılımcı ülkeler için eğitim
sistemlerinde köklü değişikliklerin başlatılmasına öncülük etmiştir. İngiltere’de 1997 yılında
açıklanan ilk TIMSS sonuçlarının ardından hükümete bağlı kuruluşlar öğrencilerin güçlü ve
zayıf yönlerini araştırmak için TIMSS verileri üzerinde çalışmaya başlamıştır. İsviçre’nin
PISA’ ya katılmadan önce düzenli olarak öğrenci performanslarını test etme amacıyla
yürüttüğü çalışmalar ancak ilk PISA sonuçları açıklandıktan sonra somutlaştırılma aşamasına
geçmiştir. Benzer şekilde Almanya’nın 1995 yılında açıklanan ilk PISA sonuçları
öğretmenler, bilim insanları ve politikacılar için beklenenin düzeyin altında bulunmuştur.
Bunun sonucunda politikacılara, PISA uygulamasından önce standart testlere dayanmayan
Alman eğitim sistemini ulusal eğitim standartlarına ulaştırmayı hedefleyen bir reform kararı
aldırmıştır (Rutkowski, von Davier, & Rutkowski, 2013).
TIMSS başarı testlerinde yer alacak maddelerin geliştirilmesi ve teste alınma süreci, merkezi
Boston Üniversitesi’nde olan TIMSS&PIRLS Çalışma Merkezindeki uzmanlar tarafından
koordine edilmektedir. TIMSS’ te yer alan matematik ve fen soruları önceden belirlenen
kazanımlar çerçevesinde ülke temsilcileri tarafından ortak olarak hazırlanmaktadır.
Hazırlanan sorular IEA’ nın fen ve matematik maddeleri inceleme komitesi tarafından
incelenip açık uçlu sorular için puanlama anahtarları hazırlanmaktadır. Daha sonra oluşturulan
yedek ve esas sorular taslak bloklar halinde incelenip sorulara son şekli verilmektedir.
Hazırlanan sorular katılımcı ülkelerde çeviri ve uyarlama işlemlerinden sonra pilot uygulama
ile test edilmektedir. Psikometrik özellikleri açısından yeterli olan sorular önceki uygulama
soruları ile birleştirilerek pilot uygulamadan bir yıl sonra nihai uygulamada yer almaktadır.
TIMSS 2015’te yer alan maddelerin yaklaşık yarısı çoktan seçmeli, yarısı uzun/kısa cevaplı
sorulardan oluşmaktadır. Her iki sınıf düzeyinde de (4. ve 8. sınıf) fen ve matematik
maddeleri 28 bloktan oluşmaktadır. Bu bloklardan 14’ü fen, 14’ü matematik bloklarıdır. Bu
bloklar 14 test kitapçığına, ikisi fen ve ikisi matematik olmak üzere dörderli bloklar halinde
dağıtılmıştır. Formlar arasında test eşitleme yapılabilmesi için fen ve matematik alanlarındaki
her iki bloktan biri iki kitapçık arasında ortaktır (TIMSS, 2015).
Psikolojik araştırmalar, grupları genellikle psikolojik değişkenlerle karşılaştırır. Bir kültürel
grupta gösterdiği psikometrik özellikler yeterli kabul edilen ölçme aracı başka bir kültürel
gruba uyarlanarak uygulanır. Bu, kültürlerarası yürütülen çalışmalarda benimsenen temel
yaklaşımlardan biridir. Araştırmacılar genellikle, ölçme aracının tüm kültürel gruplarda aynı
yapıyı ölçtüğünü varsayar, ancak bu varsayımın test edilmesi gerekmektedir (Milfont ve
Fischer, 2010). Kültürler arası karşılaştırmaların geçerliliği, psikoloji ve eğitimle ilgili
araştırmalardaki birçok uygulama için hayati öneme sahiptir. Kültürler arası araştırmanın
geçerlilik kanıtı farklı ülkelerden elde edilen test puanlarının aynı yapıyı ölçmesidir (Wu, Li
and Zumbo, 2007). TIMSS ülkelerin fen ve matematik başarılarını tek bir ölçme aracıyla
değerlendirip karşılaştıran bir uygulamadır. Yapılan karşılaştırmaların ve puan analizlerinin
anlamlılığından bahsedebilmek için kullanılan ölçme aracının farklı gruplarda aynı özelliği
ölçtüğünün doğrulanması gerekmektedir (Uzun ve Öğretmen, 2010). Gruplar arasında ölçme
değişmezliğinin sağlanması, çapraz grup karşılaştırmaları yapmak için mantıksal bir
gerekliliktir, ancak ölçme değişmezliği örgütsel araştırmalarda nadiren test edilmiştir
(Vandenberg ve Lance, 2000). Mark ve Wan’a (2005) göre ölçme değişmezliğinin varlığının
kanıtlanmadığı durumlarda yapılan çıkarımlar bilimsel bir nitelik taşımayacağı gibi, gruplar
arası farklılıkları yorumlayabilmek mümkün olmamaktadır

1.2 Araştırmanın Amacı
Bu araştırmanın amacı, TIMSS 2015 dördüncü sınıf matematik başarı testinden elde edilen
puanların ölçme değişmezliğinin Ekonomik İşbirliği ve Kalkınma Örgütü (OECD) üyesi
ülkeler için test edilmesidir.
1.3 Araştırmanın Önemi
Eğitim sistemindeki düzeltilmesi gereken alanlara dair önlemlerin alınmasını sağlayan
değerlendirme programları ülkeler için büyük bir anlam ifade etmektedir. Bu da söz konusu
değerlendirme programları üzerinden yürütülen araştırmaların çoğalmasına neden olmaktadır.
TIMSS dört yılda bir gerçekleştirilmektedir ve dördüncü sınıf öğrenci grubuna dört yıl sonra
sekizinci sınıfta da değerlendirme fırsatı sunmaktadır. Dördüncü sınıf öğrencilerinin
değerlendirilmesine ihtiyaç duyulan öğretim programları için oldukça erken bir uyarı niteliği
taşıyabilmekte ve bu yeniliklerin sekizinci sınıfa gelindiğinde etkililiği
değerlendirilebilmektedir. Ayrıca, TIMSS öğrencilerin öğrenim faaliyetlerini etkileyen
faktörleri belirlemek ve öğrenci hakkında bilgi toplamak için uyguladığı anketlerden elde
ettiği verilerle ülkelerin öğretim programlarına yön vermektedir. Ancak TIMSS ve PISA gibi
geniş ölçekli test uygulamalarına katılan ülkelerin öncelikli olarak dikkate aldığı veriler ülke
bazlı gerçekleştirilen sıralamalar olmaktadır. Karşılaştırmaların yapıldığı puanların elde
edildiği başarı testlerinin her bir grup için eş ölçekler olduğuna dair kanıt elde edilmeden
6 yapılan sıralamanın geçerli olduğunu söylemek mümkün değildir. Dolayısıyla bu araştırma,
katılımcı ülkelerin tamamında yapılan ölçme işleminin denk olup olmadığının belirlenmesi
açısından ölçme değişmezliği çalışmalarının yapılması gerekliliğini ortaya koymaktadır.
İlgili araştırmalar incelendiğinde, ölçme değişmezliği çalışmalarının daha çok PISA
uygulamaları üzerinde yapıldığı, TIMSS uygulamalarının incelendiği ölçme değişmezliği
çalışma sayısının nispeten daha az olduğu görülmüştür. Ayrıca araştırmanın yürütüldüğü veri
setinin büyüklüğü göz önünde bulundurulduğunda, bu çalışmanın alanyazına önemli bir katkı
sağlayacağı öngörülmektedir.
1.4 Sınırlılıklar
Bu araştırma TIMSS 2015 uygulamasında yer alan testlerden yalnızca dördüncü sınıflara
uygulanan matematik başarı testi ile sınırlandırılmıştır.
Model karşılaştırmaları TIMSS 2015 uygulamasında yer alan 7 numaralı kitapçık (matematik
başarısına ilişkin 10’u açık uçlu, 15’i çoktan seçmeli olmak üzere 25 adet soru) ile
sınırlandırılmıştır.
Araştırma, TIMSS 2015 uygulamasına katılan 26 OECD ülkesinden 141.109 katılımcı ile
başlatılmış, ancak doğrulayıcı faktör analizi aşamasında analiz sonuçlarında uyum indeksleri
açısından sayıltıların gerektirdiği ölçütlerin elde edilememesi sebebiyle Danimarka ve Fransa
analizin dışında bırakılmıştır.
1.5 Tanımlar
Ölçme değişmezliği, yapılan ölçme işleminin her bir alt grup için eşit olmasıdır.