Yeni bir araştırmaya göre, büyük dil modellerinin (LLM) bir kullanıcının sorusuna yanlış yanıt verme olasılığı, cevabı bilmediğini kabul etme olasılığından daha yüksek ve bu da onları daha az güvenilir yapıyor.

İspanya'daki Universitat Politecnica de Valencia'dan yapay zeka (AI) araştırmacıları, BigScience'ın BLOOM, Meta'nın Llama ve OpenAI'nin GPT'sinin en son sürümlerini, her modele matematik, fen ve coğrafya üzerine binlerce soru sorarak doğruluk açısından test etti.

Araştırmacılar her bir modelin verdiği yanıtların kalitesini karşılaştırdı ve bunları doğru, yanlış ya da kaçıngan yanıtlar olarak sınıflandırdı.

Nature dergisinde yayınlanan çalışmada, her yeni modelle birlikte daha zorlu problemlerde doğru cevapların arttığı görüldü. Yine de modeller, bir soruyu doğru yanıtlayıp yanıtlayamadıkları konusunda daha az şeffaf olma eğilimindeydi.

Daha önceki LLM modelleri cevapları bulamadıklarını ya da bir cevaba ulaşmak için daha fazla bilgiye ihtiyaç duyduklarını belirtirken, yeni modellerin tahmin etme ve kolay sorulara bile yanlış cevaplar üretme olasılığı daha yüksekti.

LLM'ler, veri setlerini anlamak, tahmin etmek ve bunlara dayalı yeni içerikler üretmek için yapay zekayı kullanan derin öğrenme algoritmaları.

Yeni modeller daha karmaşık sorunları daha doğru bir şekilde çözebilirken, çalışmadaki LLM'ler temel soruları yanıtlarken hala bazı hatalar yapıyor.

Araştırmaya göre, "çok düşük zorluk seviyelerinde bile tam güvenilirlik elde edilemiyor."

"Modeller son derece zorlu örnekleri çözebilseler de, çok basit örneklerde de başarısız oluyorlar."

OpenAI'nin GPT-4'ünde de durum böyle; "kaçıngan" cevapların sayısı bir önceki model olan GPT-3.5'e göre önemli ölçüde düştü.

Çalışmanın yazarları, "Bu durum, daha yeni LLM'lerin kendi çalışma aralıkları dışında cevap vermekten daha başarılı bir şekilde kaçınacağı beklentisiyle uyuşmuyor," dedi.

Araştırmacılar daha sonra, teknoloji ölçeklendirilmiş olsa bile modeller için "belirgin bir gelişme olmadığı" sonucuna vardı.