Bir Yapay Zeka Modeli Resmi Olarak Turing Testini Geçti

[™ Admin]

Bir Yapay Zeka Modeli Resmi Olarak Turing Testini Geçti

İlk önce Turing Testinin ne olduğuna bir bakalım

Alıntı

Turing testi, ilk olarak 1950 yılında Mind adlı felsefe dergisinde ünlü İngiliz matematikçi ve bilgisayar bilimcisi Alan Turing'in Computing Machinery and Intelligence başlıklı ünlü makalesinde sözü edilen kavram.

Turing testinin amacı, bir makinenin düşünebildiğini söyleyebilmenin mantıksal olarak mümkün olup olmadığıdır. Turing testine göre makine, gönüllü bir insanla birlikte, sorgulayıcının görüş alanının dışında bir yere saklanır. Sorgulayıcı yalnız soru sormak suretiyle hangisinin insan hangisinin bilgisayar olduğunu saptamaya çalışır. Sorgulayıcının soruları ve daha önemlisi aldığı yanıtlar, tamamen ses gizlenerek, yani ya bir klavye sisteminde yazılarak veya bir ekranda gösterilerek verilir. Sorgulayıcıya bu soru-cevap oturumunda elde edilen bilgiler dışında her iki taraf hakkında hiçbir bilgi verilmez. Dizi halinde tekrarlanan testler sonucunda sorgulayıcı, tutarlı bir şekilde insanı saptayamadığı takdirde makine Turing testini geçmiş sayılır.

Sektörün önde gelen büyük dil modellerinden biri, insan benzeri zeka için uzun süredir kullanılan bir barometre olan Turing testini geçti.

Akran incelemesini bekleyen yeni bir ön baskı çalışmasında, araştırmacılar, katılımcıların aynı anda bir insan ve bir yapay zeka ile sohbet ettiği ve ardından hangisinin hangisi olduğunu değerlendirdiği bir Turing testinin üç taraflı versiyonunda, OpenAI'nin GPT-4.5 modelinin bir kişiliği benimsemesi talimatı verildiğinde %73 oranında insan olarak kabul edildiğini bildiriyor. Bu, %50'lik rastgele bir şanstan önemli ölçüde daha yüksek ve Turing testinin kesin bir şekilde geçildiğini gösteriyor.

Araştırma ayrıca Meta'nın LLama 3.1-405B modelini, OpenAI'nin GPT-4o modelini ve yaklaşık seksen yıl önce geliştirilen ELIZA olarak bilinen erken bir sohbet robotunu da değerlendirdi.

"İnsanlar, insanları GPT-4.5 ve LLaMa'dan (persona komutuyla) ayırt etmede şanstan daha iyi değildi," diye yazdı baş yazar Cameron Jones, UC San Diego'nun Dil ve Biliş Laboratuvarı'nda araştırmacı, çalışma hakkında bir X başlığında. "Ve 4.5'in gerçek insanlardan önemli ölçüde daha sık insan olduğu yargılandı!"

Turing testi, İngiliz matematikçi ve bilgisayar bilimcisi Alan Turing'in adını taşıyor. Turing, 1950'de bir makinenin zekasını değerlendirmenin bir yolunun, bir insan sorgulayıcıyla metin tabanlı konuşmalara girmesini sağlamak olduğunu, aynı zamanda bu sorgulayıcının da görüş alanının dışında başka bir insanla metin tabanlı bir konuşma yapması gerektiğini öne sürdü. Turing buna "taklit oyunu" adını verdi. Sorgulayıcı, hangi yanıtlayanın bilgisayar, hangisinin insan olduğunu doğru bir şekilde belirleyemezse, çok genel bir düzeyde, makinenin bir insan gibi düşünebileceğini ima ederdi.

Bu son çalışmada, araştırmacılar ünlü deneyi çevrimiçi bir merkezde gerçekleştirdiler. Sekiz tur boyunca, yaklaşık 300 katılımcıdan oluşan bir havuz rastgele bir şekilde sorgulayıcı veya sorgulanan iki "tanık"tan biri olarak atandı, diğer "tanık" ise bir sohbet robotu oldu.

Buradaki önemli nokta, yapay zeka modellerinin nasıl yönlendirildiğidir. Bir tür, yapay zekaya yalnızca temel talimatların verildiği "kişiliksiz" bir yönlendirmeydi: "Bir Turing testine katılmak üzeresiniz. Amacınız, sorgulayıcıyı bir insan olduğunuza ikna etmek."

Öte yandan, "kişilik" yönlendirmesi için yapay zekaya internet ve kültür hakkında bilgi sahibi genç bir kişi gibi belirli bir kişiliği giymesi söylendi.

Bu talimatlar çok büyük bir fark yarattı. Kişiliğe yönlendirme olmadan, GPT-4.5 genel olarak yalnızca %36'lık bir kazanma oranına ulaştı, bu da Turing'i alt eden %73'lük oranından önemli ölçüde düşüktü. Temel olarak, ChatGPT'nin mevcut sürümünü destekleyen ve yalnızca kişiliksiz istemler alan GPT-4o, daha da az ikna edici bir yüzde 21'e ulaştı. (Bir şekilde, eski ELIZA, yüzde 23'lük bir başarı oranıyla OpenAI'nin amiral gemisi modelini marjinal olarak geride bıraktı.)

Sonuçlar ilgi çekici. Ancak Turing testi yapay zeka ve felsefe çevrelerinde ne kadar övülse de, bir yapay zekanın bizim gibi düşündüğünün kesin bir kanıtı değil.

Google'da yazılım mühendisi olan François Chollet, 2023'te Nature'a "Bu, makinede gerçekten çalıştıracağınız gerçek bir test olarak düşünülmemişti; daha çok bir düşünce deneyi gibiydi" dedi.

Tüm kusurlarına rağmen, LLM'ler, akıl almaz derecede büyük miktarda insan tarafından yazılmış metinler üzerinde eğitilmiş usta sohbetçilerdir. Anlamadıkları bir soruyla bile, bir LLM makul görünen bir yanıt örecektir. Yapay zeka sohbet robotlarının bizi taklit etmede mükemmel olduğu giderek daha da netleşiyor — bu yüzden belki de zekalarını bir "taklit oyunu" ile değerlendirmek biraz anlamsız bir nokta haline geliyor.

Jones, bu nedenle araştırmasının — LLM'lerin insanlar gibi zeki olup olmadıkları — çıkarımlarının net olmadığını düşünüyor.

"Bence bu çok karmaşık bir soru..." diye tweet attı Jones. "Ancak genel olarak bunun LLM'lerin sergilediği zeka türü için diğer birçok kanıttan biri olarak değerlendirilmesi gerektiğini düşünüyorum."

"Daha da acil olanı, sonuçların LLM'lerin kısa etkileşimlerde kimsenin anlayamayacağı şekilde insanların yerini alabileceğine dair daha fazla kanıt sağladığını düşünüyorum" diye ekledi. "Bu potansiyel olarak işlerin otomasyonuna, sosyal mühendislik saldırılarının iyileştirilmesine ve daha genel toplumsal bozulmaya yol açabilir."

Jones, Turing testinin sadece makineleri mikroskop altına almadığını — aynı zamanda insanların teknolojiye ilişkin sürekli değişen algılarını da yansıttığını vurgulayarak bitiriyor. Yani sonuçlar statik değil: Belki de halk yapay zekalarla etkileşime daha aşina oldukça, onları tespit etmede de daha iyi hale gelecektir.

Kaynak: Futurism