Posted by: bluesyemre | January 18, 2022

Yarının Yapay Zekası

GPT-3 ortaya çıkana kadar insansı yapay zeka ne zaman icat edileceğini sorsaydık, herkes birbirine sadece Hollywood filmleri ile sınırlı kalacağını söylerdi herhalde. Uzmanlarda, insansı yapay zekanın onlarca yıl uzakta olduğunu ya da hiç olmayabileceğini söylüyordu. Günümüzde ise, gerçek hayattaki temel yapay zeka uygulamaları, yalnızca belirli bir görevi yerine getirebilen chatbot anlamına gelen yönlendirici asistanlar veya geçmiş verilerden elde ettiği öğrenimlerle olasılıksal öngörü tahminleri üzerine çalışıyor. İnsan gibi düşünüp karar alabilen ve karmaşık işlevleri yerine getirebilen yapay zekalardan bahsedebilmek aslında çok daha zor bir sorundur. O kadar zor ki, bunu başarmak için net bir yol haritası yok ve Dünya’da çok az araştırmacı konu üzerinde açıkça çalışıyor. Bunun başlıca nedenlerinden biri, yapay zeka alanının insan beyninin sadece karar alma mekanizması ve buradaki nöron yapısının model ile kurgulanması üzerine kurulu olması, halbuki biz insanlar günlük hayatlarımızda pek çok kararı alırken duygusal ve içgüdüsel yönden de yaklaşıyoruz. GPT-3 teknolojisini bu noktada ön plana çıkaran temel etken ise bu algıyı yıkmaya yönelik ciddi adımlar atan ilk teknolojidir.

GPT-3, OpenAI ekibinin son değil fakat en yeni dil modelidir. OpenAI, GPT-3 ile ilgili detaylı bilgiler içeren duyurusunu 2020’de yayınladı ve kısa sürede OpenAI, bir API aracılığıyla test edilebilmesi için izin verdi. Model şiir yazmak, oyun oynamak veya birkaç düğmeyle çalışan basit uygulamalar oluşturmak için kullanıldı. Son yıllarda makine öğrenimindeki ilerlemeleri takip ettiyseniz, bunların hepsinin daha önce diğer AI sistemleri tarafından yapılabileceğini herkes bilir, peki GPT-3’ün farkı nedir? Hadi gelin kısa geçmişine birlikte bakalım:

Son on yılda, Derin Sinir Ağları (DNN) ve Doğal Dil İşleme (NLP) tabanlı yukarıda bahsettiğim tarzda uygulamalar her yerde yaygın hale geldi. Derin sinir ağları öncesinde doğal dil işleme çözümleri maalesef çok performanslı değildi. Mesela, Google Translate’in ilk çıktığı zamanlarda yaptığı çeviriler, pek çok göze batan hatayla, zar zor tutarlı cümleler üretiyordu. 2010’larda, NLP araştırmacıları potansiyeli fark ederek DNN’yi ana çalışma alanı olarak tamamen benimsedi. Yapay zeka uygulamalarında NLP ve DNN’in bir arada kullanılması kötü sonuçların ortadan kaldırılması için bir çözüm yolu oldu.

DNN ile sağlanan ilk yenilik, kelime vektörü modellerini (Word Representation) oluşturmak için sinir ağlarının kullanılmasıydı. Kelimenin kendisini bir makine öğrenme algoritmasında kullanmak yerine, fikir, önce kelimeleri matematiksel vektörler olarak dönüştürmek oldu ve bu çok doğru bir yaklaşımdı. Tıpkı bugünlerde GPT-3’ün ses getirdiği gibi Word2vec 2013 yılında ilk çıktığı zaman bir devrim yarattı. Kelime vektörlerinin dikkate değer özellikleri vardı ve elde edilen sonuçlar oldukça heyecan vericiydi. Örneğin, kelime vektörü modelinde İstanbul kelimesinin vektörünü aldığınızda, bunun dil içerisindeki yaklaşımından Türkiye’yi elde edebiliyorsunuz ve modelde bu iki kelimenin yanına İngiltere’yi eklediğinizde sistemin size vereceği bir sonraki kelime ne olur? Tabi ki Londra! Word2Vec ile buna benzer pek çok kelimeler arası ilişki kurulabilir hale geldi. Benzer bir yaklaşım olan GloVe teknolojisi ise 2014’te çıktı ve her iki kelime vektör modeli yaklaşımı da oldukça popüler hale gelerek birçok NLP uygulamasında ‘son teknoloji ürünü’ çıktıların elde edilmesini sağladı.

İkinci önemli yenilik, cümleleri ve paragrafları okuyabilmek için ‘tekrarlayan sinir ağlarının’ (RNN) kullanılmasıydı. RNN, rastgele uzun kelime dizileri ile beslenebilme avantajına sahipti ve çok sayıda cümleden meydana gelen içeriklerde tutarlılığı koruyabilmekteydi. RNN konusunda Seq2seq’in de çıkmasıyla birlikte bu yaklaşım özellikle makine çevirisinde çok popüler oldu. 2016 yılında Google, NLP görevleri için RNN’deki son gelişmelerden yararlanarak önceki İstatistiksel Makine Çevirisi (SMT) motorundan da faydalanarak yeni bir Nöral Makine Çevirisi (NMT) motoruna geçti.

Oldukça başarılı sonuçlar üretmesine rağmen çıktılar istenilen seviyeden hala bir miktar uzaktı. O dönemin çıktıları belirgin bir robot olduğu anlaşılan, dağınık ve devrik cümleler oluşturuyordu. Dil bilgisi ve yüklem açısından iyi fakat cümleler bir araya geldiğinde geçişlerde ve cümle içerisindeki bütünlük istenilen oranda başarıyı sağlayamıyordu.

İşler 2017’de değişmeye başladı. Google, ‘Transformer’ mimarisini tanıttı. Yeni mimari önemliydi çünkü çok daha derin sinir ağlarının yaratılmasını sağladı. Bu dönemde yapılan Computer Vision ile ilgili çalışmalar ise DNN sistemlerinin performanslarını ne kadar arttırılabildiğini herkese gösterdi. Şimdi aynı güç NLP araştırmacıları için mevcuttu. ‘Transformer’ daha derin ağlara ölçekleme yeteneği sayesinde, ekipler daha da büyük modeller yayınlamaya başladı. Google tarafından bu dönemde yayınlanan kararlı BERT modeli, 340 milyon parametreye sahipti. Salesforce’un CTRL modeli ise 1,6 milyar parametreli muazzam bir modeldir. NLP alanında ise bu modeller, bir cümle verildiğinde, rastgele bir kelimeyi seçerek bir sonraki kelimenin ya da cümle içerisindeki boşlukların yerine hangi kelimenin gelmesi gerektiğini tahmin ederek çalışıyorlar. Bu yaklaşım, kendi kendini denetlemeye çok uygundur. Modelin insan yapımı herhangi bir etikete ihtiyacı yoktur yani unsupervised (denetimsiz) olarak sadece hedef metin gösterildiğinde kendi kendine eğitim ve model oluşturma sürecini uçtan uca sağlayabilir. Bu özellik, geniş veri tabanları içerisinde ve hatta tüm internet üzerinde eğitimin kapısını açtı.

Buraya kadar her şey güzel fakat Transformer modellerini üretmenin bir bedeli var. O kadar çok veri üzerinde o kadar çok parametre var ki, eğitim hızı oldukça maliyetli ve süre alarak gerçekleşiyor. Bu sebeple araştırmacılar, son teknoloji altyapılarda büyük miktarda bulut bilişim gücüne ihtiyaç duyuyor. Bu nedenle yalnızca dünyanın en büyük ve en iyi finanse edilen ekipleri yeni bir model üretme ayrıcalığına sahip olabiliyor. Çok küçük değişiklikler ve konfigürasyon işlemleri için bile büyük donanımlara sahip GPU tabanlı sunuculara ihtiyaç duyulabiliyor. Üzerinde çalışılan modellerin bazıları için, üst düzey bir Azure/AWS sanal makinesinde (cloud computing) 10 saatlik eğitim ön görülebilir. Bu durumda, en küçük hatayı yapmak çok maliyetli olabilir ve deneyimleri birden çok kez tekrarlamak maliyetli hale gelir.

Bu sebeple, GPT, GPT-2 veya GPT-3 sıradan ‘Transformer’ modelleri olarak düşünülebilir. OpenAI modelleri Transformer altyapısı dışında herhangi bir yeni metodoloji önermiyor. Temel fark sağladığı modellerin sahip olduğu eğitim setleri, kapsamı ve ölçeği. GPT-1, BERT tabanıyla aynı olan 110 milyon parametreye sahipti. GPT-2, en büyük model çıktısında 1,6 milyar parametreye sahipti. Bu model tutarlı bir metin oluşturmada o kadar iyiydi ki, OpenAI başlangıçta açık kaynak olarak sunmayı reddetti ve kötü amaçlı kişilerin modele erişimi olması durumunda ortaya çıkabilecek fraud ve hacking şikayetleri ile ilgili endişeleri gerekçe gösterdi. GPT-3 ise, tam 175 milyar parametreye sahip!

GPT-3 için aşağıdaki komutu verebiliriz:

Ayşe, Ahmet ile arkadaştı. Ayşe, arkadaşı … ‘i ziyarete gitti.

Ahmet ile Ayşe birlikte voleybol oynadılar, Ayşe topa çok sert smaç vuruyordu.

İkinci bir cümle geldiğinde;

Mehmet biraz voleybol ekipmanı, bir file, bir eldiven ve bir … satın aldı. 

Sistem Ahmet örneğini okuyacak, ondan ne istediğimizi anlamlandıracak ve ikinci örneğe çözüm olarak “top” çıktısını verecektir. Aynı zamanda ilk cümleyi okuyan sistem ikinci cümledeki boşluğu da Ahmet olarak dolduracaktır.

Az eğitim verisi ile öğrenme çok önemli ya da zor bir şey gibi görünmeyebilir, ancak bu, yapay zeka alanında ki en büyük aktif sorunlardan biridir. İnsanlar çoğu zaman sadece birkaç kez gösterilerek yeni bir işlevi öğrenebilir. Araştırmacıların çabalarına rağmen karmaşık işlevlerin sadece birkaç örnek veriden öğrenebilme yeteneği ya da hiç veri olmadan öğrenebilme şimdiye kadar makinelerle sağlanamadı, işte insan ile makine arasında devam eden en büyük farklılıklardan biri. Derin sinir ağlarının verilere olan açlığı önemli bir dezavantajdır, daha iyi olabilmesi için hep çok daha fazla veriye ihtiyaç duyarlar, çünkü birçok işlem için genelde veri bulmak zordur ve yeni etiketleme yaparak eğitim setleri oluşturmak çok maliyetlidir. Birkaç örnek veri ile öğrenme, iyi çalışsaydı, şu anda olduğundan çok daha fazla alanda yapay zeka kullanımı günlük hayatımızda olabilirdi.

GPT-3 tarafında ise işleri kavrayabilmek için şunu düşünün. Bir insan beyni yaklaşık 100 milyar nörona sahiptir ve bu da 100 ila 500 trilyon sinaptik bağlantı düzeyinde bir şey oluşturur. GPT-3 tarafından sağlanan ve çok konuşulan bu ölçek gerçekten insan benzeri zeka için bir çözümse, GPT-3 kapasite olarak hala insan beyninden 1000 kat küçüktür. Bu, sinaptik bağlantıların sinir ağı parametreleriyle kabaca bire bir eşleştiğini varsaymaktır, ki bunlar elbette eşleşmezler insan gibi olabilmek için sezgisel ve duygusal farklı yönler tarafından da yaklaşmak gerektiğini yukarıda da belirtmiştim. İnsan nöronları, yazılım ile sağlanabilen her türlü teknolojiden çok daha karmaşıktır ve hala çözümlenmeyi bekleyen sırlarla doludur.

GPT-3’ün diğer çok ilgi çekici sonucu, yaklaşımın ne kadar genel bir model sağladığıdır. Makine öğrenimi dünyasındaki geleneksel yaklaşım, bir modelin belirli bir görev ya da kapsam için eğitilmesi gerektiğidir ve yalnızca bu amacı yerine getirebileceğidir. Örneğin, Go oyununda dünya şampiyonunu oyuncuyu geride bırakan makine AlphaGO, bu oyunlardan çok daha basit olan tic-tac-toe veya dama oynayamıyor. GPT-3, aksine, pek çok farklı görevi ek eğitim gerektirmeden yapabilir. Şaşırtıcı bir şekilde mükemmel bir dil modelidir. Bir haber makalesi başlığı ve ilk cümle verildiğinde, görünmesi muhtemel bir sonraki kelimeyi tahmin ederek tam makaleler oluşturabilir. İşte geçtiğimiz günlerde ki makale yazımın örneği de buradan sağlanmıştır. Ortaya çıkan haber makaleleri o kadar iyidir ki, insanlar bunların makine tarafından üretilmiş olup olmadıklarını anlayamazlar.

Bununla birlikte, GPT-3 modelleri birçok başka amaç içinde kullanılabilir. Diller arasında çeviri yapabilir, öyle ki mevcut diller arası çeviri uygulamalarının pek çoğundan daha iyi çalışabilir. Okuduğunu anlama, özet çıkarma ve ikili diyalogları yönetme konusunda oldukça iyi sonuçlar ortaya koyabilir. Ayrıca eğitim uygulamalarında sınav sorularını cevaplayabilir, benzer uygulamaları dil özelinde pek çok uygulama için çeşitli sektörlerde kullanabilirsiniz. GPT-3 internet ortamı içerisindeki o kadar çok metin üzerine eğitim aldı ve o kadar çok kapasiteye sahip ki, dünya hakkında birçok gerçeği ezberledi diyebiliriz. TriviaQA karşılaştırmasında önceki SOTA’dan daha iyi performans göstererek önemsiz soruları oldukça iyi yanıtlayabilir, mesela fen bilgisi öğretmeniniz olarak okulda öğrencilere ders anlatabilir.

Şaşırtıcı bir şekilde, GPT-3, yaratıcılarının düşünmediği şeyleri bile yapabiliyor. OpenAI, seçilen geliştiricilere API’sinin beta erişimini vermeye başladıktan sonra, bazıları GPT-3’ün doğal bir dil komut isteminden işlevsel JavaScript kodu oluşturmasının mümkün olduğunu gösterdi. Tahminen, eğitim verisinde kullanılan bazı web sayfalarında kod örnekleri ve front-end kodları vardı. Bu nedenle, sistem İngilizceden Fransızcaya çeviri yapabildiği gibi İngilizceden JavaScript’e de çeviri yapabildiği ortaya konmuş oldu.

GPT-3’ün olağanüstü yetenekleri göz önüne alındığında, ona insansı bir zeka diyebilir miyiz? Görsellere veya videolara bakamaz, uzuvlar veya mekanik makineler kullanarak fiziksel dünyaya etki edemez. Bazıları onun sunucumuzun içerisindeki süper yapay beyin olduğunu söyleyebilir bu durumda. Bunun yanı sıra başka bir grup insan ise, açık kaynak kullanıma açılması ile beraber GPT-3 performansının hala birçok görevde özel sistemler ve insan düzeyinde zekanın gerisinde kaldığına dair itiraz edebilir. Bu doğru fakat şunu da hatırlamakta fayda var, bazı insanlar bazı becerilerde büyük zirvelere ulaşırken, çoğumuz oldukça vasatız. Örneğin, genel olarak GPT-3’ten daha iyi dil becerilerine sahip olan bir insanın ondan daha iyi şiir yazabileceği anlamına gelmez ya da aksi yönde az bilgiye sahip olan insanlar da GPT-3’e göre daha iyi şiirler ortaya koyabilir. Konu tamamen insanların sahip olduğu bilgiyi ne şekilde yorumlayacağı, makine tarafında ise GPT-3 için doğru parametreler ve yeterli sayıda girdinin sağlanması ile alakalı.

Öyleyse tekrar soruyorum GPT-3 ilk insansı yapay zeka denebilir mi? Şahsen, teknolojinin hala yetersiz olduğunu düşünüyorum, “İNSAN GİBİ” olabilmek günümüzde hala çok iddialı bir kavram. Muhtemelen zamanla daha fazla parametre ve ses ile görüntünün de desteği ile daha gerçekçi ayırt edilmesi daha zor modellerde göreceğiz. Ayrıca bugünlerde Metaverse kavramının da gündeme gelmesi ile XR temelli uygulamaların GPT-3 gibi güçlü yapay zeka modelleriyle birleştirilip akıllı hale getirildiğini düşünürsek, konuşan karşımızda dans eden, bize yolculuklarda eşlik eden sanal dünyanın robotik insansılarının hayatımıza girmesi uzun yıllar alacak gibi görünmüyor.

Uğur Özker

https://hbrturkiye.com/blog/yarinin-yapay-zekasi


Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Categories

%d bloggers like this: