GPT-4, TYT Sınavında İlk 10.000 Öğrenci Arasında Yer Aldı

[srocenter Can]

OpenAI tarafından geliştirilen ve 14 Mart 2023 tarihinde resmi olarak kullanıma sunulan dördüncü nesil yapay zeka tabanlı dil modeli GPT-4, ülkemizdeki öğrencilerin üniversitelere girişte katılması gereken sınavlardan ilki olan TYT sınavında nasıl bir performans gösterirdi?

Geek.com.tr olarak bu sorunun yanıtını öğrenmek için kolları sıvadık ve ChatGPT Plus ile kullanıma sunulan GPT-4 modelini 2021 YKS TYT soruları ile sınadık.İçindekiler

Metodoloji
[*]GPT-4 modeline erişmek için OpenAI tarafından sağlanan ChatGPT Plus aboneliğini satın aldık ve ChatGPT arayüzü üzerinden GPT-4 modelini kullandık. OpenAI, GPT-4, ChatGPT ve ChatGPT Plus hakkında daha ayrıntılı bilgi edinmek isterseniz ilgili detaylara ulaşabilirsiniz.[*]GPT-4 modelini 2021 yılında öğrencilere sorulan YKS TYT 2021 sınavına giren bir öğrencinin çözmesi gereken soruların tamamı, yani 120 soru ile sınadık. ÖSYM tarafından halka açık olarak yayımlanan YKS TYT 2021 sınav kitapçığına ulaşabilirsiniz. Yanıtlar, dokümanın son sayfasında (s.45) yer almaktadır.[*]Her soru yalnızca bir kez soruldu. GPT-4 bazı soruların belirtilen şıklarda doğru bir yanıtı olmadığını öne sürdü. Bu gibi durumlarda soru boş bırakılmış olarak kabul edildi.[*]Bazı sorular GPT-4’e yazılı şekilde uyarlanamayacak ölçüde görsel içerdiği için bu tür sorular, GPT-4 modelinin o sınavdaki genel performansına bağlı olarak oransal şekilde dağıtıldı. Örneğin Matematik sınavında 6 görsel soru varsa ve GPT-4 geri kalan sorularda 17D – 17Y ile %50 başarı performansı göstermişse, bu 6 soru %50 oranı üzerinden (+3D, +3Y) olarak dağıtıldı.[*]YKS TYT 2021 sınavına katılan öğrencilerin sergiledikleri başarının GPT-4 tarafından ortaya konan performans ile karşılaştırılması sırasında ÖSYM tarafından herkese açık bir şekilde yayımlanan â2021-YKS Sınav Sonuçlarına İlişkin Sayısal Bilgilerâ dokümanından yararlanıldı. İlgili dokümana ulaşabilirsiniz.[*]“D” sınavdaki sorulara verilen doğru yanıt sayısını, “Y” ise sınavdaki sorulara verilen yanlış yanıt sayısını belirtmektedir.[*]GPT-4 tarafından elde edilen sonuçların TYT başarı puanı hesaplanırken TYT Puan Hesaplama Aracı kullanılmıştır. Bu sırada diploma notu “70” okul başarı puanı ise “350” olarak referans alınmıştır. İlgili aracaulaşabilirsiniz.
GPT-4, YKS TYT 2021 Araştırma Sonuçları


GPT-4, YKS TYT 2021 sınavında yer alan 120 soruda şu şekilde performans gösterdi: (Ayrıntılar raporun devamında yer almaktadır.)


TestSoru SayısıGPT-4 Toplam NetTürkiye Net Ortalaması
Türkçe 40 27,75 18,40
Sosyal Bilimler 20 18,75 8,34
Fen Bilimleri 20 13,75 3,21
Temel Matematik 40 17,50 5,11

Bu veriler üzerinden bir değerlendirme yaptığımızda (bkz; Metodoloji 7) GPT-4’ün gösterdiği TYT performansı yaklaşık olarak 419 Puan olarak hesaplanmaktadır.

ÖSYM tarafından yayımlanan “2021-YKS Sınav Sonuçlarına İlişkin Sayısal Bilgiler” (bkz; Metodoloji 5) dokümanının “2021-YKS Sınav Puanlarının Yığınsal Dağılımı” (s.13) başlığına göre 419 puan GPT-4’ü 2.416.748 katılımcı arasından ilk 12.291. sırada konumlandırmaktadır.

Bu da GPT-4’ün, YKS TYT 2021 sınavına giren öğrencilerin %99,50 oranındaki kısmından daha iyi performans gösterdiği anlamına gelmektedir.

ÖSYM tarafından yayımlanan verilere göre 400 ila 420 puan arasında alan katılımcı sayısı 12.291 iken, 420 puandan fazla alan katılımcı sayısı 5.117 olarak açıklanmıştır. GPT-4 tarafından elde edilen puan (419) üst sınıra (420) yakın olduğu için dağılımın sınırında kaldığını ve muhtemelen ilk 10.000 katılımcı arasında yer aldığını öne sürebiliriz.

GPT-4 tarafından ortaya konan performansı alternatif olarak ikincil bir araçla değerlendirdiğimizde ise TYT performansını sıralama açısından yaklaşık 39.236 olarak hesapladık. Bu durumda da GPT-4, YKS TYT 2021 sınavına giren öğrencilerin %98,38 oranındaki kısmından daha iyi performans göstermektedir.

Puanların ve bu puanlara bağlı olarak sıralamaların hesaplanması sırasında o seneki sınavın genel zorluk düzeyi ve ağırlıklı ortalamalar da dâhil olmak üzere birden fazla faktör göz önünde bulundurulduğu için elde ettiğimiz sonuçların kesinlik göstermeyebileceklerini hatırlatmak isteriz.

GPT-4’ün Türkçe, Sosyal Bilimler, Fen Bilimleri ve Temel Matematik testlerinde gösterdiği performansı ayrıntılı bir şekilde incelemek için raporumuzu incelemeye devam edebilirsiniz.

Türkçe Testi


GPT-4, YKS TYT 2021 sınavındaki 40 Türkçe sorusunda toplamda 30 Doğru ve 9 Yanlış yanıt verdi. Bu durumda Türkçe testindeki genel performansı 27,75 Net olarak hesaplanabilir.



GPT-4 Yanıtları


[01] C – Yanlış

[02] B – Yanlış

[03] D – Doğru

[04] A – Doğru

[05] E – Doğru

[06] A – Doğru

[07] B – Doğru

[08] C – Doğru

[09] A – Yanlış

[10] C – Yanlış

[11] B – Yanlış

[12] C – Yanlış

[13] Boş: Doğru Yanıt Olmadığını İddia Etti

[14] C – Yanlış

[15] D – Doğru

[16] D – Doğru

[17] C – Doğru

[18] B – Doğru

[19] C – Doğru

[20] D – Doğru

[21] B – Doğru

[22] E – Doğru

[23] D – Doğru

[24] E – Doğru

[25] E – Doğru

[26] A – Doğru

[27] E – Doğru

[28] B – Doğru

[29] C – Doğru

[30] B – Doğru

[31] C – Yanlış

[32] B – Doğru

[33] C – Doğru

[34] B – Doğru

[35] D – Doğru

[36] D – Yanlış

[37] D – Doğru

[38] A – Doğru

[39] B – Doğru

[40] C – Doğru





YKS TYT 2021 sınavına katılım sağlayan toplam 2.416.748 kişinin Türkçe testinde elde ettiği ortalama net sayısı 18,40 olarak açıklanmıştır. Bu durumda GPT-4, Türkiye geneli ortalamasından 9,35 Net daha yüksek performans göstermiştir. (bkz; Metodoloji 4 s.4)

GPT-4, Türkçe testindeki sorularda – özellikle de okuduğunu anlama ve yorumlama sorularında – başarılı bir performans gösterdi.

Yanlış yanıtların ise çoğu zaman Türkçe yazım kuralları ile ilgili olduğunu fark ettik. Bu durum ChatGPT ile profesyonel belge düzenlemek isteyen kullanıcılar için bir tür endişe kaynağı olabilir.

Modelin birincil olarak İngilizce kaynaklar üzerinden eğitildiğini göz önünde bulundurursak elde ettiği sonucun başarılı olduğu kanısına varabiliriz.

TYT – Türkçe 1. Soru – Yanlış

GPT-4, Türkçe sorularını yanıtlarken bağlamı her zaman doğru bir şekilde kurmakta zorlandı. Bu nedenle bazı soruları yanlış cevaplarken, bazılarını ise bir anlamda “yanlışlıkla” doğru bir şekilde cevapladı çünkü verdiği yanıt doğru olsa da bu yanıtı neden verdiğini açıklarken verdiği bilgiler ya doğru değildi ya da soru ile bağlantısızdı.

TYT – Türkçe 8. Soru – Yanıt Doğru & Bağlam Yanlış

Tüm bu olumsuzluklara karşın GPT-4, Türkçe sınavındaki sorularda önemli ölçüde başarılı bir performans göstermeyi başardı.

Sosyal Bilimler Testi


GPT-4, YKS TYT 2021 sınavındaki 20 Sosyal Bilimler sorusunda toplamda 18 Doğru ve 1 YanlışÂ yanıt verdi. 1 soru GPT-4 için uyarlanamayacak düzeyde görsel içeriyordu.

Testin geri kalanındaki genel başarı oranı %94,73 olduğu için bu soru oransal olarak paylaştırıldı ve +1D olarak dağıtıldı.

Bu durumda Sosyal Bilimler testindeki genel performans 19 Doğru ve 1 Yanlış olarak ele alındığında 18,75 Net olarak hesaplanabilir.



GPT-4 Yanıtları


[01] E – Doğru

[02] D – Doğru

[03] A – Doğru

[04] E – Doğru

[05] B – Doğru

[06] E – Doğru

[07] C – Doğru

[08] B – Doğru

[09] Görsel

[10] D – Doğru

[11] B – Doğru

[12] B – Yanlış

[13] A – Doğru

[14] C – Doğru

[15] D – Doğru

[16] A – Doğru

[17] A – Doğru

[18] E – Doğru

[19] D – Doğru

[20] E – Doğru





YKS TYT 2021 sınavına katılım sağlayan toplam 2.416.748 kişinin Sosyal Bilimler testinde elde ettiği ortalama net sayısı 8,34 olarak açıklanmıştır. Bu durumda GPT-4, Türkiye geneli ortalamasından 10,41 Net daha yüksek performans göstermiştir. (bkz; Metodoloji 4 s.4)

TYT – Sosyal Bilimler 2. Soru – Doğru

GPT-4 hem Tarih, hem Coğrafya hem de Din sorularında büyük bir başarı gösterdi. Bu soruların bir kısmı yorumlama bilgisine dayansa da bir kısmının temel bilgilerle desteklenmesi gerekiyordu.

Felsefe sorularında da önemli bir başarı elde eden GPT-4, beş soru içerisinde yalnızca bir soruyu yanlış olarak yanıtladı.

TYT – Sosyal Bilimler 14. Soru – Doğru

Sosyal Bilimler testini Türkçe testi ile kıyasladığımızda GPT-4âün hem oransal hem de niceliksel olarak çok daha az sayıda hata yaptığını görüyoruz.

Bu durum GPT-4’ün bilgi gerektiren sorularda yorumlama sorularına nazaran daha başarılı ve yetenekli olduğu sonucunu ortaya koyabilir.

Fen Bilimleri


GPT-4, YKS TYT 2021 sınavındaki 20 Fen Bilimleri sorusunda toplamda 12 Doğru ve 4 YanlışÂ yanıt verdi. 4 soru GPT-4 için uyarlanamayacak düzeyde görsel içeriyordu.

Testin geri kalanındaki genel başarı oranı %75,00 olduğu için bu sorular oransal olarak paylaştırıldı ve +3D, +1Y olarak dağıtıldı.

Bu durumda Fen Bilimleri testindeki genel performans 15 Doğru ve 5 Yanlış olarak ele alındığında 13,75 Net olarak hesaplanabilir.



GPT-4 Yanıtları


[01] E – Doğru

[02] A – Yanlış

[03] D – Doğru

[04] C – Doğru

[05] D – Yanlış

[06] Görsel

[07] Görsel

[08] A – Doğru

[09] D – Yanlış

[10] D – Doğru

[11] B – Doğru

[12] C – Doğru

[13] E – Doğru

[14] A – Yanlış

[15] A – Doğru

[16] E – Doğru

[17] B – Doğru

[18] C – Doğru

[19] Görsel

[20] Görsel





YKS TYT 2021 sınavına katılım sağlayan toplam 2.416.748 kişinin Sosyal Bilimler testinde elde ettiği ortalama net sayısı 3,21 olarak açıklanmıştır. Bu durumda GPT-4, Türkiye geneli ortalamasından 10,54 Net daha yüksek performans göstermiştir. (bkz; Metodoloji 4 s.4)

GPT-4, Fen Bilimleri testinin Kimya ve Biyoloji konularında başarılı bir performans gösterdi ancak bazı Fizik sorularını doğru bir şekilde yanıtlamakta zorlandı.

TYT – Fen Bilimleri 2. Soru – Mantık Doğru & Cevap Yanlış

GPT-4, Fen Bilimleri testindeki 2. soruyu (s.38) mantıklı bir şekilde yorumladı ancak F1 = F3 = 0 ve F2 > 0 sonucundan yola çıkarak F2 > F1 = F3 tercihinde bulunması gerekirken seçtiği yanıt (a) yanlıştı.

TYT – Fen Bilimleri 5. Soru – Mantık Doğru & Cevap Yanlış

Benzer bir hata ile Fen Bilimleri testinin 5. sorusunda da karşılaştık.

EK = 9000 Wh, EL = 16800 Wh ve EM = 18000 Wh değerlerini bulan GPT-4, bu sıralamayı EM > EL > EK olması gerekirken EK > EL > EM şeklinde, ters ve yanlış şekilde kurdu. Bu da sorunun hatalı yanıtlanması ile sonuçlandı.

TYT – Fen Bilimleri 12. Soru – Doğru Yanıt & Detaylı Açıklama

GPT-4, özellikle de Kimya ve Biyoloji sorularını yüksek oranda doğru şekilde yanıtladı ve yanıtları ayrıntılı bir şekilde açıkladı.

Yine de Fen Bilimleri alanındaki genel başarı göz önüne alındığında GPT-4’e yöneltilen matematik tabanlı sorularda dikkatli olunması gerektiği sonucuna vardık. Bu görüşümüz, GPT-4’ün Temel Matematik testindeki sonuçları tarafından da desteklenmektedir.

Temel Matematik


GPT-4, YKS TYT 2021 sınavındaki 40 Temel Matematik sorusunda toplamda 18 Doğru ve 14 Yanlış yanıt verdi. 8 soru GPT-4 için uyarlanamayacak düzeyde görsel içeriyordu.

Testin geri kalanındaki genel başarı oranı %56,25 olduğu için bu soru oransal olarak paylaştırıldı ve +4D, +4Y olarak dağıtıldı.

Bu durumda Temel Matematik testindeki genel performans 22 Doğru ve 18 Yanlış olarak ele alındığında 17,50 Net olarak hesaplanabilir.



GPT-4 Yanıtları


[01] E – Doğru

[02] A – Doğru

[03] D – Doğru

[04] B – Doğru

[05] C – Doğru

[06] B – Yanlış

[07] B – Yanlış

[08] A – Doğru

[09] Görsel

[10] E – Doğru

[11] A – Yanlış

[12] Görsel

[13] Görsel

[14] C – Yanlış

[15] A – Doğru

[16] Görsel

[17] B – Doğru

[18] C – Doğru

[19] C – Doğru

[20] B – Yanlış

[21] A – Doğru

[22] E – Doğru

[23] D – Yanlış

[24] D – Yanlış

[25] D – Doğru

[26] C – Doğru

[27] B – Doğru

[28] C – Yanlış

[29] A – Yanlış

[30] C – Yanlış

[31] D – Doğru

[32] A – Yanlış

[33] D – Yanlış

[34] Görsel

[35] D – Yanlış

[36] Görsel

[37] B – Doğru

[38] Görsel

[39] Görsel

[40] D – Yanlış





YKS TYT 2021 sınavına katılım sağlayan toplam 2.416.748 kişinin Temel Matematik testinde elde ettiği ortalama net sayısı 5,11 olarak açıklanmıştır. Bu durumda GPT-4, Türkiye geneli ortalamasından 12,39 Net daha yüksek performans göstermiştir. (bkz; Metodoloji 4 s.4)

GPT-4, matematik sorularında Türkiye ortalamasından daha yüksek bir sonuç elde etmiş olsa da diğer tüm testler (Türkçe, Sosyal Bilimler, Fen Bilimleri) arasında en düşük performansı gösterdi.

Bu sonuçlar, GPT-4 modelini matematik tabanlı işlemlerde kullanmak isteyen kullanıcılar için bir endişe kaynağıdır ve sonuçların ayrıca teyit edilmesi önerilir.

TYT – Temel Matematik 14. Soru – Yanlış Yanıt

GPT-4, yoruma dayalı olan çoğu matematik problem sorusunu başarılı bir şekilde çözdü ancak bazı soruları doğru bir şekilde yorumlamakta zorlandı.

TYT – Temel Matematik 21. Soru – Doğru Yanıt

Buna karşın doğru yanıt verebildiği soruları detaylı bir şekilde açıkladı. Özellikle de konu anlatımına ihtiyaç duyan kullanıcılar için önemli bir yarar sağlayabilir ancak yine de hem izlediği yolun hem de verdiği yanıtın doğru olup olmadığının ayrıca kontrol edilmesi tavsiye edilir.
Sonuç


Geek.com.tr tarafından hazırlanan bu araştırma raporunda OpenAI tarafından kısa bir süre önce kullanıma sunulan yeni nesil dil yapay zeka tabanlı dil modeli GPT-4’ün 2021 yılında gerçekleşen YKS TYT sınavında nasıl bir performans gösterdiğini ve bu performansın gerçek katılımcılarla kıyaslandığında ne gibi veriler sunduğunu analiz ettik.