Jump to content

Gelişmiş dil modeli içeren yapay zekalar GPT2


Recommended Posts

Özet geçmek gerekirse yaklaşık 3 yıl önce "attention is all you need" başlıklı bir paper ile yapay zeka dil modelleri üzerine ciddi bir gelişme yaşandı. Dil modellerinin ilkel anlamda nasıl çalıştığını şu örnek videoda çok güzel anlatmışlar

 

 

Kısaca özet geçmek gerekirse istatistiksel analize dayalı harflerin birbiri ardına gelmesini aşama aşama geliştiren katmanlı yapay sinir ağları üzerine kurulu bir yapıdan başlayarak yine bu temelden çok uzaklaşmadan bunu daha iyi hale getiren yöntemler ile youtube yorumu üreten bir sistem tasarlıyorlar. Yani kendi kanallarındaki yorumları çekip sisteme veriyorlar, sistem bunu öğreneip kendi yorum üretebilen bir hale geliyor. Bunu da temelde istatistik kullanarak yapıyor sistem. Yani şu harften sonra hangi harf gelir, bunun olasılığı nedir diye bakıyor. Ardından rastgele seçim yapıp o harfi alıyor. Ardından sonraki harf için aynı işlemi tekrarlıyor. Tabi ki kullanılan yönteme ve katman sayısına göre sadece bir önceki harfe değil çok daha geniş bir alanda bu olasılık hesabı yapılıyor.

 

"Attention is all you need" paperında 3 yıl önce yayınlanan ise bu yöntemlerin epey bir gelişmişi denebilir. GPT2 ise openAI grubunun bu yöntemi kullanarak geliştirdiği bir dil modeli. OpenAI şunu yapmış, reddit'ten tüm linkleri takip etmişler, yaklaşık 40gb lık bir veri çekmişler. Bunun içinde haber siteleri, akademik makaleler, yemek tarifleri vs. bir çok şey var. Tüm bunları akademik paperdaki yönteme göre makine öğrenmesi ile sisteme vermişler. Ardındandan bu 40gb veri ile eğitilmiş sisteme aşağıdaki videodaki başlangıç metnini verip buna göre devamını getir demişler. 

 

 

Burada etkiliyici olan şu. Makineye verilen orjinal başlangıç metninde haber metni formatında Andes dağlarında yaşayan ve çok iyi ingilizce konuşan Unicornların varlığından bahsedilyior. Sadece bunu veriyorlar ve devamını getir diyolar. Yapay zeka önceki verisetinden öğrendiklerine bakarak sanki bu bir haber metniymiş gibi kendi uydurduğu akademik isimlerle bu iddiaları temellendiriyor, Andes dağlarına yakın bölgelerde yapılan çalışmalardan vs. bahsediyor. Evrimsel biyolojiye gönderme yapıyor. Bunların hiçbiri orjinal metinde yok. Tamamen redditten takip ettiği haberlerden öğrendikleriyle bunu yapıyor. Ortada sistemeatik olarak oluşturulmuş bir veritabanı falan da yok. Buna rağmen bu ilişkilendirmeleri yapabiliyor.

 

Burada etkileyici olan şu, eskiden dil modelleri kullanılacağı alana göre elle optimize edilirdi. Yani chatbotu için ayrı bir süreç, otomatik tamamlama için ayrı bir süreç el ile yapılırdı. Bir yerde yapay zekayı insan eliyle budanıp istenilen hale getirilmesi diyebiliriz. Bir yerde yapay zekaya güvenmeyerek yamalı bohça gibi iş yapmaya benziyor bu. Bu örnekte ise bu yok. Yapay zekaya öğrenme verisi verilip direkt kullanılıyor. Önceki dil modellerine göre çok daha genel bir yöntem. 

 

OpenAI sosyal sorumluluk vs bahane edip bu verisetiyle eğilitmiş veri setini paylaşmamış çünkü bunla çok güzel insan taklidi yapan botlar üretilebilir. Twitter'a salsanız normal insan ayırt edemezsiniz. Önceki tweetlere göre tweet üretebilir. Bunu da ne kadar inandırıcı yapabileceğini videodaki örnekte görüyoruz. Paper public indirip bakabilirsiniz. Çok daha etkiyici örnekler de var. 

 

Burada sizlere sormak istediğim şu. Bence tüm bunlar ne kadar etkileyici de olsa temelde istatistiksel analize dayanıyor. Yani bu şekilde üretilen metinlerle insanları sanki bu metinler insanlar tarafından oluşurulmuş gibi kandırabiliriz fakat ortaya yeni orjinal bir şey koyamayız. Yani yapay zeka ne kadar gelişirse gelişsin bence bilimsel anlamda, sanatsal anlamda bir eser ortaya koyacak bir olgunluğa erişemez. Elindeki verisetine uygun bunlarla örtüşen sonuçlar ortaya koyar. Yani antik yunan felsefesini buna benzer sistemlere yükleyip modern kıta felsefesini üretmesini bekleyemeyiz. Newton fiziğini yükleyip genel göreliliği üretmesini bekleyemeyiz. Sizce bu konuda ne düşünüyorsunuz? 

Link to post
Sitelerde Paylaş

Tartışmaya katıl

You can post now and register later. If you have an account, sign in now to post with your account.

Misafir
Bu konuyu yanıtla

×   Yapıştırdığınız içerik biçimlendirme içeriyor.   Biçimlendirmeyi Temizle

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Yükleniyor ...
  • Konuyu Görüntüleyenler   0 kullanıcı

    Sayfayı görüntüleyen kayıtlı kullanıcı bulunmuyor.

×
×
  • Yeni Oluştur...