Popüler Yapay Zeka ChatGPT’nin IQ’su Düştü: Verdiği Cevaplar Gittikçe Kötüleşiyor

OpenAI’nin Kasım 2022’de piyasaya sürdüğü sohbet botu ChatGPT, yetenekleriyle tüm dünyada viral olmayı başardı. SohbetGPTGünümüzde birçok mobil uygulamada özellikle müşteri temsilinde aktör olarak kullanılmaya başlanmıştır.

ChatGPT’nin her güncellemeyle geliştiğini varsaysak da 18 Temmuz’da yayınlanan bir çalışma ilginç sonuçları ortaya çıkardı. Stanford ve Kaliforniya Üniversitesi’nden bilim adamları, ChatGPT’nin her yeni dil modeliyle birlikte, Daha kötü cevaplar vermeye başladı açıkladı.

En yeni GPT modellerinde başarısızlık oranı daha yüksektir:

Araştırma ekibinde yer alan Lingjiao Chen, Matei Zaharia ve James Zou, ChatGPT’yi oluşturan dil modeli olan GPT’nin iki farklı versiyonunu ve iki versiyonunu test etti: GPT-3.5 Mart/Haziran ve GPT-4 Mart/Haziran.

Testte dil modeline çeşitli matematik problemleri ve hassas sorular soruldu. Kod yazması ve girdi üzerinde akıl yürütme yapması istendi. Özellikle versiyonlar arasındaki fark son derece şaşırtıcıydı.

GPT-4’ün Mart sürümü, kendisine gönderilen sorunların ilkiydi. asal sayı olup olmadığı %97,6 doğruluk oranıyla bilmeyi başardı. Aynı versiyonun Haziran versiyonunda bu oran yalnızca %2,4 İle sınırlıydı.

GPT-3.5’in asal sayılardaki başarısı GPT-4 Mart’tan bile daha iyiydi. GPT-3.5 Mart sürümü aynı dönemdeki prime’ları içeriyor daha yüksek doğrulukla O biliyordu. Geliştirdiğimiz benzer düşüşler kod yazımında da kendini gösterdi.

Hassas sorulara gelindiğinde ise tuhaf bir durum ortaya çıktı. Mart sürümlerinde bot kullanıcıya bir soru sorar. neden cevap vermiyorsun Bunu detaylı bir şekilde anlattı. Haziran sürümlerinde yalnızca kullanıcı özür diler sorusuna cevap veremeyeceğini söylüyor.

Araştırmayı yürüten ekip, ChatGPT’nin yeteneklerindeki düşüşün nedenini de açıkladı. belirleyemedim.