YZ Zaman Çizelgesi
Yapay zekanın en az üç kez öldü ilan edildiğini — ve her seferinde geri döndüğünü gösteren bir zaman çizelgesi.
Babbage'ın Analitik Motoru: Bilgisayar fikri
YZ'nin tarihi bilgisayarlarla değil, onların fikriyle başlar. 1830'larda İngiliz matematikçi Charles Babbage Analitik Motor'u tasarladı ve 1837'de ilk kez ayrıntılı biçimde tanımladı — kağıt üzerinde dünyanın ilk evrensel, programlanabilir hesap makinesi. Tasarımı çağının yüzyıl ötesindeydi: Babbage'ın mill (değirmen) adını verdiği aritmetik birimi, bir belleği (store), delikli kartlarla programlamayı ve hatta koşullu atlamaları içeriyordu — bugünkü her bilgisayarın temel yapı taşları. Makine onun sağlığında hiç inşa edilmedi; 19. yüzyılın mekaniği için çok karmaşıktı. Bununla birlikte her hesap makinesinin uzak atası olarak kalmaktadır — ve dolayısıyla yapay zekanın üzerinde çalışabileceği donanımın da. Dürüst bir değerlendirme yapacak olursak: Analitik Motor tamamlanmamış bir tasarım olarak kaldı ve o bir hesap makinesi, düşünen bir makine değildi. Hesaplamayı sağladı — zekayı değil.
Ada Lovelace: İlk program — ve cesur bir vizyon
Makineyi tasarlayan Charles Babbage'dı — ancak onun gerçekte neler yapabileceğini ilk kavrayan Ada Lovelace oldu. 1843'te İngiliz matematikçi, Babbage'ın Analitik Motoru hakkındaki bir makaleyi çevirdi ve orijinal metni hem hacim hem de derinlik bakımından çok aşan kendi notlarını ekledi. G notunda, makinenin Bernoulli sayılarını hesaplamak için izleyeceği bir yöntemi tanımladı — bu yöntem çoğunlukla yayımlanmış ilk bilgisayar programı olarak anılır. Daha da öngörülü olan ikinci kavrayışıydı: Makine yalnızca sayılarla sınırlı kalmak zorunda değildi; her türlü sembolü işleyebilir, hatta müzik bile besleyebilirdi. Lovelace böylece evrensel veri işleme fikrini bir yüzyıl erken düşünmüştü. Dürüst bir değerlendirme yapacak olursak: Onun gerçekten ilk programcı olup olmadığı tartışmalıdır — Babbage'ın kendisi daha önce programlar taslak etmişti ve Bernoulli rutini onunla birlikte geliştirilmişti. Öte yandan Lovelace, makinenin gerçek anlamda yeni bir şey üretemeyeceğini düşünüyordu — bu itiraz Alan Turing tarafından 1950'de açıkça reddedildi.
Turing Makinesi: Hesaplamak ne demektir
Makinelerin düşünüp düşünemeyeceği sorulmadan önce, bir makinenin aslında ne hesaplayabileceğinin ortaya konması gerekiyordu. Bu soruyu İngiliz matematikçi Alan Turing, 1936'da 'On Computable Numbers' adlı makalesiyle yanıtladı. Makalesinde şaşırtıcı derecede basit bir zihinsel model tanımladı — bir bant, bir okuma-yazma kafası, birkaç kural —, sonradan Turing Makinesi adını alan bu model. Turing, bununla hesaplanabilir olanı ve olmayanı kesin biçimde belirledi. En önemli kavrayışı şuydu: Tek bir evrensel Turing Makinesi, her diğerini taklit edebilir. Bu, evrensel bilgisayarın teorik planıdır — doğru programla hesaplanabilir olan her şeyi yapabilen bir makine. Böylece Turing bilişimin kurucusu oldu ve düşünen makineler fikrini ilk kez mümkün kılan temeli yarattı. Doğru bir değerlendirme için: Turing Makinesi matematiksel bir fikirdir, kurulmuş bir aygıt değil; konu hesaplanabilirlikti, zeka değil. Makinelerin düşünüp düşünemeyeceğini Turing ancak 1950'de sordu. Turing Makinesi adını ise başkaları koydu.
McCulloch & Pitts: İlk yapay nöron
Dartmouth Konferansı'ndan on üç yıl önce, savaşın ortasında, yapay sinir ağlarının gerçek doğum belgesi ortaya çıktı. Nörofizyolog Warren McCulloch ve öz öğretimli mantıkçı Walter Pitts — henüz yirmi yaşında ve hiçbir akademik derecesi olmayan — 1943'te Bulletin of Mathematical Biophysics dergisinde 'A Logical Calculus of the Ideas Immanent in Nervous Activity' adlı makaleyi yayımladı. Fikirleri köklü biçimde basitti: Bir nöronu, girdilerin toplamı bir eşiği aştığında 'hep ya da hiç' ilkesine göre ateşleyen ikili bir anahtar elemanı olarak tanımlayabilirsiniz. Salt önerme mantığı temelinde, bu tür birimlerden oluşan ağların her mantıksal işlevi hesaplayabileceğini ve geri besleme döngüleri olan ağların bir tür belleğe bile sahip olduğunu kanıtladılar. Son bölümde ağlarının bir Turing makinesiyle aynı şeyi hesaplayabileceğini belirttiler. Böylece nöronu mantıksal bir hesaplama birimi olarak tanımlayan ilk matematiksel modeli sundular. Sonraki on yılı şekillendirecek olan kusur şuydu: Nöronları öğrenemiyordu.
Shannon'in bilgi kuramı: Bit doğuyor
1948'de Bell Labs'da dijital dünyayı temellendiren bir makale yayımlandı: Claude Shannon'in 'A Mathematical Theory of Communication'ı. Shannon, bilginin anlamından bağımsız olarak matematiksel biçimde nasıl ölçülebileceğini gösterdi. Bit'i bilginin en küçük birimi olarak ortaya koydu ve entropi kavramını geliştirdi: bir mesajın ortalama olarak ne kadar belirsizliği giderdiğinin ölçüsü. Böylece veri sıkıştırmanın, hatasız iletimin ve nihayetinde her bilgisayarın temelini attı. YZ için bu, salt bir ön tarihten fazlasıdır: Bugün sinir ağlarının eğitim hedefleri olarak kullanılan çapraz entropi (Cross-Entropy) ve Kullback-Leibler ıraksama gibi kavramlar, doğrudan Shannon'in kuramından kaynaklanmaktadır. Doğru bir değerlendirme için: Shannon mesajların iletimini tanımladı, düşünmeyi değil. Bilgi kuramı, YZ'nin üzerine inşa ettiği matematiksel bir araçtır — kendisi yapay zeka değildir.
Hebb kuralı: Beyinde öğrenme nasıl gerçekleşir
1949'da Kanadalı psikolog Donald Hebb, 'The Organization of Behavior' adlı kitabını yayımladı ve basit ama derin sonuçları olan bir fikir ortaya attı: Birbiriyle bağlantılı iki sinir hücresi tekrar tekrar birlikte ateşlendiğinde bağlantıları güçlenir. Hebb böylece öğrenmenin tek tek sinaps düzeyinde nasıl işleyebileceğine dair ilk somut mekanizmayı sundu. YZ için bu ilke temel bir kavram haline geldi: Öğrenmek, bağlantıların gücünü ayarlamak demektir — yapay sinir ağlarının, örneğin sonraki Hopfield ağlarının tam olarak yaptığı şey. Dürüst bir değerlendirme yapacak olursak: Birlikte ateşlenen nöronların birlikte bağlandığına ilişkin ünlü özdeyiş aslında Hebb'den gelmiyor — nörobilimci Carla Shatz'a atfedilir (1992). Hebb'in kuralı tek başına modern derin öğrenmeyi açıklamaz, çünkü hedefli hata düzeltmesinden yoksundur.
Turing Testi: Taklit Oyunu
Makine zekasının felsefi temeli ve ilk YZ karşılaştırma ölçütü. 1950'de Alan Turing, Mind dergisinde 'Computing Machinery and Intelligence' adlı makalesini yayımladı ve 'Makineler düşünebilir mi?' sorusunu yeniden ele aldı. Felsefi tanımlar yerine Turing, pratik 'Taklit Oyunu'nu önerdi: İnsan bir değerlendirici, bir insan ile bir makine arasındaki metin transkriptlerini değerlendirir. Değerlendirici makineyi belirlemeye çalışır - makine, değerlendirici onu güvenilir biçimde ayırt edemiyorsa testi geçer. Belirleyici olan yanıtların doğruluğu değil, insan yanıtlarına ne kadar benzediğidir. Bu ayırt edilemezlik testi, sözel ve sözel olmayan tüm insan performanslarına (robotik) genelleştirilebilir. Turing'in davranış temelli yaklaşımı, tüm YZ araştırmaları için kavramsal temeli oluşturdu ve ELIZA'yı, ChatGPT'yi ve tüm modern konuşma YZ sistemlerini etkiledi.
Logic Theorist: İlk akıl yürüten program
Dartmouth'ta 'Yapay Zeka' kavramının ortaya çıktığı yaz, Allen Newell, Herbert Simon ve çoğu zaman unutulan programcı Cliff Shaw, sıkça 'ilk YZ programı' olarak anılan bir şeyi tanıttılar — ancak bir dipnot gerekir. Logic Theorist, matematiksel teoremleri kanıtladı: Whitehead ve Russell'ın 'Principia Mathematica'sından önerme mantığını aldı ve ilk 52 teoremden 38'i için bağımsız olarak kanıtlar buldu. Dikkat çekici olan nasıl olduğuydu: Tüm olasılıkları körü körüne denemek yerine program sezgisel bir arama yaptı — hangi adımların değerli olduğunu tahmin etti ve hedeften geriye doğru çalıştı. Bir teorem için orijinalden daha kısa bir kanıt bile buldu; haberlere göre Russell memnuniyetle karşıladı, ancak bir akademik dergi sunulan kanıtı reddetti. Her şey IPL adlı bir liste dilinde yazılmıştı ve bu dil McCarthy'nin LISP'ını önceden haber veriyordu. Sınırlılık: Samuel'in Dama gibi oyun programları daha önce çalışıyordu — Logic Theorist, açık bir düşünme görevinde insan akıl yürütmesini bilinçli olarak taklit etmeye çalışan ilk programdı.
Dartmouth Konferansı: YZ'nin doğum saati
Yapay Zekanın bir araştırma alanı olarak doğduğu tarihi an. 18 Haziran - 17 Ağustos 1956 tarihleri arasında Dartmouth College'da ilk YZ Yaz Araştırma Konferansı düzenlendi. John McCarthy, Marvin Minsky, Nathaniel Rochester ve Claude Shannon cesur bir vizyona sahipti: 'Öğrenmenin her boyutu ya da zekanın diğer her özelliği, bir makinenin bunu taklit edebileceği kadar kesin biçimde tanımlanabilir.' Sekiz haftalık bu çalışma toplantısında McCarthy 'Yapay Zeka' (Artificial Intelligence) terimini ortaya attı ve böylece yeni bir bilim dalının temelini attı. Bazı katılımcılar yalnızca birkaç hafta gelirken diğerleri sürekli kaldı: Herbert Simon ve Allen Newell ilk haftalarda Logic Theorist adlı çalışmalarını sundular, Ray Solomonoff ise sekiz haftanın tamamını orada geçirdi; tartışmalar Matematik Bölümü'nün en üst katında yapıldı. Bu konferanstan üç tarihi YZ merkezi doğdu: Newell ve Simon ile Carnegie Mellon, Minsky ile MIT ve McCarthy ile Stanford.
Perceptron: İlk öğrenen yapay sinir ağı
Makine öğreniminin doğuşu: ilk eğitilebilir yapay nöron. 1957'de Frank Rosenblatt, Cornell Aeronautical Laboratory'de Perceptron'u geliştirdi — deneyimden öğrenebilen ilk yapay sinir ağı. Ocak 1957'de 'The Perceptron: A Perceiving and Recognizing Automaton' (Project PARA, Rapor 85-460-1) başlıklı teknik raporu yayımladı. Resmi bilimsel yayın ise Kasım 1958'de Psychological Review'da çıktı. Biyolojik nöronlardan ilham alan Perceptron, ağırlıklı girdileri Heaviside basamak fonksiyonu aracılığıyla ikili çıktılara dönüştürüyordu. Yenilikçi Perceptron öğrenme kuralı, bir örnek yanlış sınıflandırıldığında ağırlıkları düzeltiyordu — modern yapay sinir ağlarındaki öğrenmenin erken bir öncüsü (Widrow ve Hoff'un 1960'taki Delta kuralıyla karıştırılmamalıdır). Başlangıçta bir IBM 704 üzerinde simüle edilen ve 1958'de kamuoyuna duyurulan Perceptron'un Mark-I donanımı ancak 1960 civarında tamamlandı. Doğrusal ayrılabilir problemlerle sınırlı olmasına karşın Perceptron, sonraki tüm yapay sinir ağı mimarilerinin kavramsal temelini attı.
LISP: YZ'nin dili
1958'de John McCarthy, MIT'de sembolik hesaplamayı merkeze alan bir programlama dili tasarladı: Liste İşleme anlamına gelen LISP. Sayıları işlemek yerine LISP, sembol listelerini işliyordu — tam olarak sembolik YZ'nin ihtiyaç duyduğu şey. On yıllar boyunca LISP, YZ araştırmalarının dili oldu: Uzman sistemler, dil işleme ve planlama sistemleri onunla geliştirildi. McCarthy'nin dili aynı zamanda bugün olağan sayılan fikirleri de hayata taşıdı: özyineleme, otomatik bellek yönetimi (Garbage Collection), veri olarak fonksiyonlar ve etkileşimli değerlendirme. Steve Russell, McCarthy'nin teorik eval mekanizmasını ilk yorumlayıcı olarak hayata geçirdi — ve böylece LISP çalıştırılabilir hale geldi. Dürüst bir değerlendirme yapacak olursak: LISP ilk üst düzey programlama dili değildi (Fortran 1957'de geldi), ancak hâlâ kullanılan en eski ikinci dil — ve YZ için en belirleyici olan.
Arthur Samuel: Kendi kendine öğrenen YZ ve 'Makine Öğrenimi' kavramı
Dartmouth Konferansı'ndan birkaç yıl önce Arthur Samuel, IBM'de bir makineye Dama oynamayı — ve aynı zamanda öğrenmeyi — öğretti. Programı 1952'den itibaren IBM 701 üzerinde çalıştı; ancak belirleyici olan, 1959'daki 'Some Studies in Machine Learning Using the Game of Checkers' adlı makalesinde yer alandı. Program kendi kendini geliştirdi: Sonuçlara göre değerlendirme fonksiyonunun ağırlıklarını ayarlayarak kendisiyle on binlerce parti oynadı. Bu makalenin başlığında 'Machine Learning' (Makine Öğrenimi) kavramı bugünkü anlamıyla ilk kez belgelenmiş biçimde geçiyor — Samuel bu terimin yaratıcısı olarak kabul edilmektedir. Richard Sutton daha sonra Samuel'in öz oyununu, modern Pekiştirmeli Öğrenmenin özünde yer alan Zamansal Fark (Temporal-Difference) öğreniminin en erken uygulaması olarak değerlendirdi. 1956'daki televizyon gösterisi ve sözde bir şampiyona karşı sıkça aktarılan zafer manşetlere taşındı — ancak her ikisi de büyük ölçüde abartıldı: Gerçekten güçlü oyunculara karşı program açıkça kaybetti ve Dama ancak on yıllar sonra tam olarak çözülebildi.
DENDRAL: Uzman sistemlerin öncüsü
1960'ların ortasında YZ belirleyici bir ayrıma yöneldi. Stanford Üniversitesi'nde Edward Feigenbaum ve genetikçi ve Nobel ödüllü Joshua Lederberg, DENDRAL üzerinde çalışmaya başladı — çoğunlukla ilk uzman sistem olarak anılan ve her halükarda bilimsel çıkarsama üzerinde YZ uygulayan ilk program. Önceki sistemler gibi genel arama yapmak yerine DENDRAL, insan kimyacılarının uzmanlık bilgisini kullandı: Bir kütle spektrometresinin verilerinden organik moleküllerin yapısını türetti. Buradan çıkan ders bir on yılın YZ anlayışını biçimlendirdi — bilgi güçtür. En akıllı genel algoritma değil, en fazla uzmanlık bilgisine sahip olan kazanır. DENDRAL böylece 1980'lerin uzman sistem patlamasının yolunu açtı. Dürüst bir değerlendirme yapacak olursak: DENDRAL yıllar süren başarılı bir araştırma projesi oldu — tek bir ürün değil. Ancak bilgileri zahmetli biçimde elle girmesi gereken yöntemi sonradan Aşil topuğuna dönüştü: 1980'lerin ticari uzman sistemlerini kırılgan ve pahalı kıldı; bu da YZ kışına katkıda bulundu.
Bulanık mantık: Belirsizliğin matematiği
Belirsizlik ve yaklaşık çıkarım ile başa çıkmak için önemli bir matematiksel atılım. 1965 yılında Lotfi Zadeh, UC Berkeley'de 'Fuzzy Sets' (Bulanık Kümeler) adlı çığır açan makalesini yayımladı — klasik mantığın belirsiz ve eksik bilgilerle başa çıkamamasına verilen bir yanıt. Yeniliği, insanların kesin sayısal olmayan, belirsiz bilgilere dayanarak karar verdiği gerçeğini kavramasında yatıyordu. Bulanık mantık (Fuzzy Logic), ikili evet/hayır mantığının aksine 0 ile 1 arasında üyelik dereceleri tanımlar. 100.000'i aşkın atıfla Zadeh'in çalışması, Soft Computing'in ve modern YZ yaklaşımlarının temeline dönüştü. 'Belirsizliğin kesin mantığı' olarak adlandırılan bu yaklaşım, belirsizliği, eksikliği ve çelişkili bilgileri matematiksel olarak modellemeye olanak tanıdı. Bulanık mantık, uzman sistemlerde, kontrol sistemlerinde ve daha sonra belirsiz karar süreçleri için modern YZ mimarilerinde uygulama alanı buldu.
ELIZA: İlk sohbet robotu
İnsan-makine konuşmasının doğuşu ve insan psikolojisi üzerine istem dışı bir deney. Yaklaşık 1964'ten 1966'ya kadar Joseph Weizenbaum, MIT'de ELIZA'yı geliştirdi — insanlarla konuşmak için açıkça tasarlanan ilk program. Şaşırtıcı derecede yalın bir kodla ve basit örüntü eşleme (Pattern-Matching) teknolojisiyle ELIZA konuşmalar simüle etti; özellikle Rogerian terapist olarak DOCTOR varyantında. Sürpriz teknolojide değil, insan tepkisindeydi: Weizenbaum'un kendi sekreteri dahil kullanıcılar programa duygusal bağlar geliştirdi ve 'terapi seansları' için mahremiyet bile talep etti. Weizenbaum bu olguyu — ilkel programlara insani özellikler atfetme eğilimini — erken dönemde tanımladı ve eleştirdi. 'ELIZA etkisi' terimi ise daha sonra, 1990'lı yıllarda ortaya çıktı ve yaygınlaştı. ELIZA, basit illüzyonun gücünü kanıtladı ve tüm modern sohbet robotlarının temelini attı.
Perceptrons: YZ kışını tetikleyen kitap
1969'da MIT araştırmacıları Marvin Minsky ve Seymour Papert, Perceptrons adlı kitabı yayımladı. Matematiksel bir titizlikle, tek katmanlı bir algılayıcının — bir sinir ağının en basit biçiminin — neler yapabileceğini ve neler yapamayacağını gösterdiler. En ünlü bulgularıydı bu: Böyle bir ağ, düz bir çizgiyle ayrılamadığı için basit XOR işlevini bile öğrenemez. Etkisi muazzam oldu: Sinir ağlarına duyulan güven çöktü, on yılı aşkın bir süre için finansman kurudu — bu, ilk YZ kışına önemli bir katkıydı. Doğru bir değerlendirme için: Minsky ve Papert, sinir ağlarını asla çürütmedi. Yalnızca tek katmanlı çeşidi analiz ettiler; çok katmanlı ağlar XOR'u kolaylıkla çözer — bu durum 1986'dan itibaren geri yayılım (Backpropagation) yöntemiyle pratikte kullanılır hale geldi. Kitabın araştırmayı tek başına öldürdüğü anlatısı kısmen bir efsanedir. Ancak para ve ilgideki düşüş çok gerçekti.
Shakey: İlk zeki mobil robot
Akıl yürütme, planlama ve fiziksel eylemin entegrasyonuyla özerk robotiğin doğuşu. 1966'dan 1972'ye kadar Charles Rosen'ın ekibi SRI International'da Shakey'i geliştirdi - kendi eylemleri üzerine düşünebilen ilk mobil robot. 2 metre yüksekliğindeki bu robot, TV kamerası, sonar mesafe ölçer, işlemciler ve çarpma algılayıcısı olarak 'kedi bıyıkları'nı özerk bir sistemde birleştirdi. Shakey'nin dikkat çekici yetenekleri arasında çevre algılama, örtük gerçeklerden çıkarım yapma, plan oluşturma ve hata telafisi yer alıyordu - bunların tümü doğal İngilizce diliyle kontrol edilebiliyordu. ARPA (bugün DARPA) tarafından finanse edilen bu proje, mantıksal akıl yürütmeyi fiziksel eylemle ilk kez bir araya getirerek özerk sistemlerin temellerini attı. Shakey'nin yenilikleri A* arama algoritmasına, görünürlük grafiği yöntemlerine ve Hough dönüşümünün bilgisayar destekli etkili varyantına (Duda & Hart, SRI 1972) yol açtı. 1970'de Life Magazine Shakey'yi 'ilk elektronik insan' olarak nitelendirdi.
SHRDLU: Blok dünyasında dil anlama
1970 civarında Terry Winograd, MIT'de uzmanları hayrete düşüren bir program yarattı: SHRDLU. Ona basit İngilizce ile talimatlar verilebiliyordu — örneğin kırmızı küpü yeşil bloğun üstüne koy — ve program bunları renkli bloklardan oluşan sanal bir dünyada uyguluyordu. SHRDLU yalnızca komutları anlamaktan fazlasını yapıyordu: Belirsiz cümleleri çözüyor, söylenenleri hatırlıyor, dünyasına ilişkin sorulara yanıt veriyor ve hatta neden bir şey yaptığını bile açıklayabiliyordu. Pek çokları için sembolik YZ'nin etkileyici doruk noktasıydı — makinelerin dili şaşırtıcı biçimde iyi anlayabildiğinin kanıtı. Doğru bir değerlendirme için: SHRDLU'nun anlayışı yalnızca kendi minik, kapalı blok dünyasında işliyordu. Sonsuz gündelik bilgisiyle gerçek, düzensiz dünyaya aktarılamadı. Zamanla SHRDLU, bu tür mikro düneyaların sınırlarını gösteren bir ders niteliğine büründü — Winograd'ın kendisi de daha sonra bu yaklaşımdan uzaklaştı.
Gizli Markov Modelleri yerleşiyor
Konuşma tanıma ve dizi modellemesi için matematiksel temel. 1960'ların sonundan 1970'e kadar Leonard Baum, Lloyd Welch ve Ted Petrie, Institute for Defense Analyses'te Gizli Markov Modellerini geliştirerek Baum-Welch algoritmasını yerleştirdi. Bu istatistiksel modeller, dizilerdeki gizli durumları modelledi ve zamana bağımlı verilerdeki saklı durumları yakalamak için ilk uygulanabilir yaklaşımlardan birini sundu. 1970'lerin ortasından itibaren GMM'ler ilk pratik uygulamalarını Carnegie Mellon'da James Baker aracılığıyla ve ardından IBM'de konuşma tanıma alanında buldu. Bu yöntem, otomatik konuşma tanımayı basit şablon eşleştirme süreçlerinden istatistiksel yaklaşımlara dönüştürdü. GMM'ler, biyoinformatikten finansal analize, jest tanımaya kadar pek çok alanda dizi modellemesinin standardı haline geldi. 1977'de genel biçimiyle formüle edilen Beklenti-Maksimizasyon algoritmasının özel bir durumu olarak sonradan tanınan Baum-Welch algoritması, modern olasılıksal Makine Öğrenimi yöntemlerinin temelini attı.
Prolog: Mantıkla programlamak
1972'de Marsilya Üniversitesi'nde diğerlerinden tamamen farklı düşünen bir programlama dili doğdu: Prolog, Programmation en Logique'nin kısaltması. Yaratıcıları Alain Colmerauer ve Philippe Roussel — Robert Kowalski'nin kuramına dayanarak — çarpıcı bir fikri izlediler. Prolog'da bilgisayara bir şeyi nasıl yapması gerektiğini adım adım söylemek yerine, yalnızca bir dünyanın gerçeklerini ve kurallarını tanımlarsınız. Mantıksal çıkarımı sistem kendi kendine yapar. Prolog, sembolik YZ'nin en önemli dili haline geldi: uzman sistemlerde, dil işlemede ve Japonya'nın iddialı Beşinci Kuşak Projesi'nin merkezinde. Doğru bir değerlendirme için: Mantıksal programlama hiçbir zaman YZ'nin egemen paradigması olmadı. Tamamen Prolog üzerine kurulu Japonya'nın büyük projesi, vaatlerinin çok gerisinde kaldı. Üstelik bu başarı, dilin kendisi kadar Robert Kowalski'nin kuramına da borçludur.
Birinci YZ Kışı
Yapay zeka araştırma fonlarında dramatik kesintilerin yaşandığı ve yapay zekaya olan güvenin sarsıldığı bir dönem. 1960'ların abartılı vaatlerinin ardından acı gerçek geldi: YZ programları, çözmeleri gereken problemlerin yalnızca önemsiz versiyonlarını çözebiliyordu. Büyük Britanya'da 1973 tarihli Lighthill Raporu yıkıcı bir eleştiri sundu ve bunun üzerine Science Research Council yönlendirilmemiş YZ araştırmalarının finansmanını azalttı. ABD'de DARPA, Mansfield Değişikliği'nin etkisiyle birkaç yıl boyunca amaç bağlı olmayan araştırmalardan uzaklaştı; dil anlama finansmanındaki sert kesinti 1974-75'te Carnegie Mellon'daki projeyi etkiledi ve 3 milyon dolarlık sözleşmenin feshine yol açtı. Bu kış yaklaşık 1980'e kadar sürdü ve YZ topluluğuna önemli bir ders verdi: Gerçekçi beklentiler kalıcı ilerlemenin anahtarıdır.
Neocognitron: CNN'lerin atasası
1980'de Japon araştırmacı Kunihiko Fukushima, zamanının çok ötesinde bir sinir ağı tanıttı: Neocognitron. İlham kaynağı doğaydı — daha doğrusu Nobel ödüllü Hubel ve Wiesel'in kediler üzerinde incelediği görme korteksiydi. Orada basit ve karmaşık hücreler görsel uyaranları kademeli olarak işliyordu. Fukushima bu ilkeyi yeniden yarattı: katmanları özellikleri adım adım tanıyan çok katmanlı bir ağ — hem de görüntünün neresinde göründüklerinden bağımsız olarak. Böylece Neocognitron, 2012'den bu yana görüntü tanımaya hakim olan Evrişimsel Sinir Ağlarının (CNN) temel fikirlerini önceden ortaya koydu. Doğru bir değerlendirme için: Neocognitron henüz geri yayılım (Backpropagation) kullanmıyordu ve modern CNN'ler gibi eğitilemiyordu. Mimariyi pratikte öğrenebilir ağlara ancak geri yayılım (1986) ve Yann LeCun'ün LeNet'i (1989) dönüştürdü. Fukushima'nın öncü rolü bugün hâlâ çoğu zaman küçümsenmektedir.
1980'lerin uzman sistemler dönemi
1980'li yıllar, YZ'nin ilk kez ticari açıdan başarılı olduğu uzman sistemlerin altın çağını işaret eder. Dünya genelindeki şirketler, uzmanlaşmış alanlarda insan uzmanlığını taklit eden bu kural tabanlı YZ programlarını benimsedi. YZ sektörü 1980'deki birkaç milyon dolardan 1988'de milyarlara ulaştı. Fortune 500 şirketlerinin üçte ikisi bu teknolojiyi kullandı. MYCIN gibi sistemler çalışmalarda terapötik önerileri için yaklaşık %65 kabul oranına ulaştı — fakülte uzmanlarıyla aynı düzeyde; ne var ki MYCIN hiçbir zaman klinik kullanıma girmedi. Ancak düzinelerce şirketin iflas etmesi ve teknolojinin sınırlarının belirginleşmesiyle birlikte patlama, klasik bir ekonomik balon kalıbıyla sona erdi.
Hopfield Ağları: Çağrışımsal Bellek
Çağrışımsal depolama yetenekleri yoluyla sinir ağlarının yeniden doğuşu. 1982'de John Hopfield, PNAS'ta çığır açan 'Neural networks and physical systems with emergent collective computational abilities' makalesini yayınladı. Onun yeniliği, nörobiyoloji ile istatistiksel fiziği birleştirmesinde yatıyordu: Hopfield ağları, eksik veya gürültülü girişlerden tam kalıpları yeniden oluşturan içerik adreslenebilir bellek olarak çalışır. Simetrik çift yönlü bağlantılara sahip tekrarlayan mimari, Lyapunov enerji fonksiyonu aracılığıyla sabit nokta çekerlerine yakınsar. Sistem, en yakın depolanmış anıya 'yokuş aşağı yuvarlanır'. Hopfield'ın çalışması, sinir ağlarına olan ilgiyi yeniden alevlendirdi ve modern RNN'ler için teorik temel attı. Hebbian öğrenme kuralı, kalıpların çağrışımsal depolanmasını sağladı - biyolojik ve yapay bellek sistemlerinin anlaşılması için bir atılım.
Geri Yayılım Algoritması
Modern makine öğreniminin zarif bir eğitim algoritmasıyla doğuşu. Ekim 1986'da David Rumelhart, Geoffrey Hinton ve Ronald Williams, Nature dergisinde 'Learning representations by back-propagating errors' (Hataları geri yayarak temsilleri öğrenme) adlı makaleyi yayımladı. Bu algoritma, çok katmanlı ağlarda bağlantı ağırlıklarını ayarlamak için verimli bir yöntem sunarak yapay sinir ağlarının eğitimini önemli ölçüde değiştirdi. Yöntem, gerçek ve istenen çıktı arasındaki farkı en aza indirmek için bağlantı ağırlıklarını tekrar tekrar ayarlar. Temel yenilik, görevin önemli özelliklerini otomatik olarak tanıyan gizli katmanları eğitme kapasitesindeydi. Matematiksel temeller daha önce türetilmişti - Paul Werbos (1974) ve Seppo Linnainmaa (1970) tarafından - ancak bu makale Geri Yayılımı (Backpropagation) geniş kitlelere tanıttı ve etkisini ikna edici biçimde ortaya koydu. Geri yayılım, makine öğreniminin çalışma motoru haline geldi ve günümüzdeki tüm modern Derin Öğrenme (Deep Learning) uygulamalarını mümkün kılmaktadır.
İkinci YZ Kışı
Özelleşmiş YZ donanım pazarının çöküşü ve uzman sistemlerin başarısızlığı. 1987'de Apple ve IBM bilgisayarları pahalı YZ'ye özgü sistemlerden hem daha uygun fiyatlı hem de daha güçlü hale gelince Lisp makine pazarı çöktü. XCON gibi uzman sistemler gerçek dünya uygulamaları için fazla bakım gerektiren ve esnek olmayan yapıları nedeniyle yetersiz kaldı. Yeni IPTO Direktörü Jack Schwartz, uzman sistemleri 'zeki programlama' olarak nitelendirdi ve YZ finansmanını 'derin ve acımasızca' kesti. Lisp makine üreticilerinin düşüşü sonraki yıllara yayıldı; pazar lideri Symbolics ancak 1993'te iflas başvurusunda bulundu. Bu durum, 1974'tekinden daha uzun ve daha derin bir kışa yol açtı. Bu kış yaklaşık 1993'e kadar sürdü ve uzman sistemler ile özelleşmiş YZ donanımı etrafındaki ticari balon sona erdi; sembolik YZ ise bir araştırma yönelimi olarak varlığını sürdürdü.
UCI ML Repository: Veri kümesi kütüphanesi
Standartlaştırılmış karşılaştırma veri kümeleri aracılığıyla makine öğrenimi araştırmalarının demokratikleşmesi. 1987'de UCI doktora öğrencisi David Aha ve arkadaşları, ampirik YÖ algoritması analizi için veri tabanları, alan teorileri ve veri üreticilerinden oluşan bir koleksiyon olan UCI Makine Öğrenimi Repository'sini bir FTP arşivi olarak kurdu. Bu girişim, büyüyen YÖ topluluğu için standartlaştırılmış, serbestçe erişilebilir veri kümelerinin kritik eksikliğini giderdi. Repository, dünya genelinde öğrencilerin, öğretim üyelerinin ve araştırmacıların yüksek kaliteli karşılaştırmalara erişimini sağlayarak YÖ veri kümeleri için birincil kaynak haline geldi. Yıllar içinde on binlerce kez atıfta bulunuldu ve bu sayede tüm bilişimin en çok kullanılan kaynakları arasına girdi. Bugün Center for Machine Learning and Intelligent Systems tarafından yönetilen UCI ML Repository, sağlık, finans ve sayısız diğer alanlardan veri kümeleri sunmaktadır. Repository, YÖ eğitimini ve araştırmasını temelden demokratikleştirdi.
Bayes ağları: Belirsizlik altında çıkarsama
Yapay sinir ağları ve uzman sistemler dikkat çekişmek için mücadele ederken, Judea Pearl UCLA'da YZ'nin üçüncü büyük direğini inşa ediyordu: belirsizlik altında çıkarsama. Probabilistic Reasoning in Intelligent Systems (1988) adlı kitabında Bayes ağlarını popüler hale getirdi — düğümlerin değişkenler, kenarların ise olasılığa dayalı bağımlılıklar olduğu grafikler. Uzman sistemlerin katı eğer-o zaman kuralları ve geçici güven faktörleri yerine, bu ağlar bilgi ile belirsizliği temiz biçimde birleştirmeyi ve verimli çıkarsama yapmayı sağlıyordu. Bayes ağları, 1990'lar ve 2000'lerin YZ ile makine öğrenimini şekillendirdi; Pearl 2011'de Turing Ödülü'nü aldı ve daha sonra verilerin arkasındaki nedeni araştıran nedensel çıkarsama alanına yöneldi. Dürüst bir değerlendirme yapacak olursak: Bayes teoremi 18. yüzyıldan kalmaktadır; Pearl'ün başarısı olasılığı icat etmek değil, olasılıksal çıkarsamayı YZ için yapılandırılabilir ve hesaplanabilir hale getirmekti.
Evrensel Yaklaşım Teoremi
Yapay sinir ağlarının teorik gücüne ilişkin matematiksel kanıt. 1989'da Kurt Hornik, Maxwell Stinchcombe ve Halbert White, Neural Networks dergisinde 'Multilayer feedforward networks are universal approximators' (Çok katmanlı ileri beslemeli ağlar evrensel yaklaşımlayıcılardır) adlı temel makaleyi yayımladı. Titiz kanıtları şunu ortaya koydu: Yeterli sayıda nöron içeren tek bir gizli katman bile herhangi bir Borel-ölçülebilir fonksiyonu istenen hassasiyette yaklaşımlayabilir. Bu teorik temel, yapay sinir ağlarının kullanımını matematiksel açıdan meşrulaştırdı ve araştırmacılara yeterince büyük ağların gerçek verilerdeki karmaşık, doğrusal olmayan ilişkileri modelleyebileceğini güvence altına aldı. Paralel olarak George Cybenko ve Funahashi farklı tekniklerle benzer çalışmalar yayımladı. Teorem, gizli katmanın genişletilmesi yoluyla evrenselliği ortaya koydu ve sonraki tüm Derin Öğrenme gelişmeleri için teorik dayanak haline geldi. Hornik ve arkadaşları, 1990'lardaki yapay sinir ağı Rönesansını mümkün kılan matematiksel güveni sağladı.
World Wide Web: WWW'nin İcadı
Dünyayı birbirine bağlayan ve modern YZ veri kaynaklarının temelini oluşturan icat. 12 Mart 1989'da Tim Berners-Lee, CERN'de 'Bilgi Yönetim Sistemi' adlı önerisini sundu; başlangıçta 'Mesh' olarak adlandırılan bu proje, daha sonra 'World Wide Web' adını aldı. İngiliz bilim insanı olarak Berners-Lee, dünya genelindeki bilim insanları arasında otomatik bilgi alışverişinin gerekliliğini fark etti. 1990 yılının sonuna kadar üç temel web teknolojisini geliştirdi: HTML (Hiper Metin İşaretleme Dili), HTTP (Hiper Metin Aktarım Protokolü) ve URI/URL. İlk web sunucusu info.cern.ch, ilk tarayıcı/editör 'WorldWideWeb.app' ile birlikte bir NeXT bilgisayarında çalıştı. 1991'de web kamuya açıldı. Yaklaşık 10 web sitesinden (1992) birkaç yüz bine (1996) kadar üstel büyüme, sonraki YZ sistemleri için veri altyapısını oluşturdu. Web olmasaydı Common Crawl veri kümeleri ve Büyük Dil Modelleri de olmazdı.
LeNet ve CNN'lerin doğuşu
Evrişimli Sinir Ağlarının (CNN) pratikte ilk başarılı uygulaması. 1989'da Yann LeCun, AT&T Bell Labs'ta el yazısı tanıma için geri yayılım (Backpropagation) ile CNN mimarisini ilk kez bir araya getirdi. LeNet ailesinin atası olarak bilinen bu sistem, ABD Posta Servisi için el yazısıyla yazılmış posta kodlarını kayda değer bir doğrulukla tanıdı: eğitim verilerinde yaklaşık yüzde 1, daha önce görülmemiş test verilerinde ise yaklaşık yüzde 5 hata oranı; ağın güvensiz durumları reddetmesine izin verildiğinde kalan rakamlardaki hata yaklaşık yüzde 1'e düştü. Bu başarı, CNN'lerin geleneksel yaklaşımlara karşı pratik üstünlüğünü kanıtladı ve modern Bilgisayarlı Görü'nün (Computer Vision) temelini attı. Yapay sinir ağlarının yalnızca teorik yapılar olmadığını, gerçek iş problemlerini çözebileceğini de gösterdi. Mimari birçok iyileştirme döngüsünden geçti ve 1998'de MNIST üzerinde yüzde 99,05 doğrulukla LeNet-5 olarak sonuçlandı. Bu çalışma tüm modern CNN mimarilerinin temelini oluşturdu.
TD-Gammon: Kendisiyle oynayarak öğrenmek
AlphaGo'dan çok önce, IBM'de bir program Pekiştirmeli Öğrenmenin neler yapabileceğini gösterdi: 1992'de Gerald Tesauro, Backgammon oynamayı öğrenen bir sinir ağı olan TD-Gammon'ı tanıttı. Dikkat çekici olan öğrenme yöntemiydi. TD-Gammon, neredeyse yalnızca kendisiyle yüz binlerce parti oynayarak ve sonuçtan öğrenerek eğitildi — tahminleri adım adım düzelten Zamansal Fark (Temporal-Difference) yöntemiyle. Kimsenin ona iyi hamleler göstermesine gerek yoktu. Ağ, neredeyse dünya sınıfı düzeyine ulaştı ve hatta insan profesyonellerin ardından benimsediği açılış hamlelerini bile keşfetti. Doğru bir değerlendirme için: Bu etkileyici başarı uzun süre diğer oyunlara aktarılamadı. Nedenlerinden biri zardır: Backgammon bir şans oyunudur ve tesadüf, pratik yaparken otomatik olarak çeşitlilik sağlar — deterministik oyunların (satranç veya Go gibi) öz oyun için sahip olmadığı bir avantaj.
Q-Öğrenimi: Pekiştirmeli öğrenmenin temeli
1992'de Chris Watkins ve Peter Dayan, YZ dünyasını önemli ölçüde dönüştürecek bir algoritma olan Q-Öğrenimi'nin matematiksel ispatını yayımladı. Watkins, temel fikri daha önce 1989'da King's College Cambridge'deki doktora tezinde 'Gecikmeli Ödüllerden Öğrenme' (Learning from Delayed Rewards) adıyla geliştirmişti. Q-Öğrenimi, temel bir sorunu çözüyordu: Bir ajan, çevresinin modeline ihtiyaç duymadan nasıl en uygun biçimde hareket edebilir? Yanıt zarif bir fikirdi: Her durum-eylem çiftine bir değer atayan Q-işlevinin adım adım optimize edilmesi. 1992'deki yakınsama kanıtı şunu gösterdi: Sonsuz keşif koşulunda Q-Öğrenimi, her sonlu Markov Karar Süreci için en uygun stratejiyi garanti eder. Bu model içermeyen yöntem, modern pekiştirmeli öğrenmenin temel taşı hâline geldi. Robotikten finansal piyasalara, oyunlardan otonom sistemlere - Q-Öğrenimi her yerdedir. 2013 sonu itibarıyla DeepMind, Derin Q-Ağları (Deep Q-Networks - DQN) adıyla derin bir türevini sundu (Nature yayını 2015) ve Atari oyunlarının büyük çoğunluğunda insan düzeyinde ya da insanüstü performans elde etti. Q-Öğrenimi, özellikle Derin Q-Ağı biçimiyle, bugün sayısız YZ sisteminin temel yapı taşı olmaya devam etmektedir.
Penn Treebank: Sözdizimsel açıklama NLP'yi dönüştürüyor
Modern ayrıştırma araştırmaları için temel derlemin oluşturulması. 1993'te Mitchell Marcus, Beatrice Santorini ve Mary Ann Marcinkiewicz, Computational Linguistics dergisinde 'İngilizce'nin Geniş Çaplı Açıklamalı Bir Derleminin Oluşturulması: Penn Treebank' başlıklı çığır açan makaleyi yayımladı. 4,5 milyonun üzerinde Amerikan İngilizcesi sözcüğü kelime türleriyle etiketlendi; bunların yaklaşık 3 milyonu ayrıntılı sözdizimsel (iskelet ayrıştırmalı) açıklamaya tabi tutuldu. Bu çalışma bilgisayar dilbilimini önemli ölçüde dönüştürdü. İki aşamalı yöntem, otomatik POS etiketlemeyi insan düzeltmesiyle birleştirerek olağanüstü açıklama kalitesi sağladı. Yaklaşık yedi yıl süren proje (1989-1996) ve genişletilmiş Penn Treebank II boyunca toplamda 7 milyon POS etiketli sözcük, 3 milyon iskelet ayrıştırmalı metin ve 2 milyon Yüklem-Argüman yapısı üretildi. Penn Treebank, bilgisayar dilbiliminde deneysel yöntemleri yerleştirerek modern ayrıştırma algoritmalarının temelini oluşturdu. Bugün hala modern NLP sistemleri için ayrıştırma ve dil modelleme alanında önemli bir değerlendirme kıyaslaması olarak hizmet vermektedir.
AdaBoost: Zayıf öğreniciler güçleniyor
1995 yılında Yoav Freund ve Robert Schapire, makine öğrenimini önemli ölçüde değiştiren AdaBoost (Uyarlanabilir Güçlendirme) algoritmasını geliştirdi. Temel fikirleri şuydu: Yüksek hassasiyetli bir tahmin modeli oluşturmak için birçok 'zayıf öğrenici' bir araya getirin. Zayıf bir öğrenici rastgeleden yalnızca biraz daha iyi performans gösterir; ancak yüzlercesi bir arada kayda değer sonuçlar elde edebilir. AdaBoost uyarlanabilir biçimde çalışır: Hatalı tahminler bir sonraki turda daha fazla ağırlık alır. Böylece sistem zor vakalara otomatik olarak odaklanır. Kuramsal zariflik ikna ediciydi — Freund ve Schapire, her zayıf öğrenici rastgeleden daha iyi olduğu sürece eğitim hatasının üstel hızda sıfıra yaklaştığını kanıtladı. 2003 yılında bu güçlendirme kuramı temeli için teorik bilgisayar biliminin en prestijli ödüllerinden biri olan Gödel Ödülü'nü aldılar. AdaBoost biyoloji, bilgisayarlı görü ve konuşma tanımada pratik uygulama alanı buldu. Yöntem, modern topluluk yöntemlerinin temelini attı ve XGBoost'a uzanan güçlendirme algoritmalarının tüm bir kuşağına ilham verdi.
Destek Vektör Makineleri: Maksimum Margin Sınıflandırma
Gürbüz sınıflandırma için zarif geometrik yaklaşımların yerleştirilmesi. 1995 yılında Corinna Cortes ve Vladimir Vapnik, AT&T Bell Labs'ta 'Support-Vector Networks' başlıklı temel makaleyi Machine Learning dergisinde yayımladı. SVM'ler, Vapnik ve Chervonenkis'in 1964'teki erken Maksimum Margin yaklaşımını ('Generalized Portrait') 'Soft Margin' yeniliğiyle ayrıştırılamaz eğitim verileri için pratik bir çözüme dönüştürdü. Temel ilke, doğrusal olmayan girdi dönüşümleri aracılığıyla çok yüksek boyutlu özellik uzaylarında doğrusal karar yüzeylerinin inşasına dayanır. 1992'deki Kernel Trick, açık dönüşüm olmaksızın verimli hesaplama sağladı. SVM'ler sınıflar arasındaki margin'i (sınır boşluğunu) maksimize ederek yüksek genelleme kapasitesi sunar. On binlerce atıfla bu makale, Makine Öğrenimi'nin en çok alıntılanan çalışmalarından biri haline geldi ve Derin Öğrenme devrimine kadar sınıflandırma görevlerine hâkim oldu. SVM'ler yüksek boyutlu problemlerde gürbüz, yorumlanabilir ve etkili kalmaya devam etti.
WordNet: Dilin anlambilimsel ağı
Bilgisayar dilbilimi için anlambilimsel ağ olarak inşa edilmiş ilk sözcüksel sözlük. Kasım 1995'te George Miller, Communications of the ACM dergisinde 'WordNet: İngilizce için Sözcüksel Bir Veritabanı' başlıklı temel makalesini yayımladı ve 1986'dan bu yana geliştirdiği vizyonunu kamuoyuyla paylaştı. WordNet, İngilizce isimler, fiiller, sıfatlar ve zarfları anlambilimsel ve sözcüksel ilişkilerle birbirine bağlı bilişsel eş anlamlı gruplar olan synset'ler halinde düzenler. Bu yapı, insan anlambilimsel belleğini yansıtır ve anlamlı kelime ile kavram ağları üzerinde gezinmeyi mümkün kılar. Makine tarafından okunabilir sözlükler daha önce de vardı; ancak WordNet, söz varlığını tutarlı biçimde synset'lerden ve anlam ilişkilerinden oluşan bir ağ olarak modelleyen, böylece geleneksel sözlükbilimsel bilgiyi modern veri işlemeyle buluşturan ilk sözlük oldu. Miller ve Princeton ekibinin 1986'da başlattığı geliştirme sürecinin ürünü olan WordNet, ImageNet hiyerarşilerinin ve modern NLP sistemlerinin temelini oluşturdu. Anlambilimsel ağ yapısı, sonraki tüm Bilgi Grafiklerini (Knowledge Graph) ve gömme tekniklerini etkiledi.
PageRank: Google'ın milyar dolarlık algoritması
1996'da iki Stanford doktora öğrencisi, interneti önemli ölçüde dönüştürecek bir algoritma geliştirdi. Larry Page ve Sergey Brin, 'BackRub' projesini özgün bir fikirle başlattı: Bir web sayfasının önemi yalnızca içeriğiyle değil, ona yönlendiren bağlantılarla ölçülür. Bilimsel alıntılarda olduğu gibi, bir sayfaya ne kadar çok bağlantı verilirse o sayfa o kadar önemlidir. PageRank algoritması, bağlantı yapısı üzerinden rastgele gezinen bir 'Rastgele Gezgin' (Random Surfer) simüle eder. Bu rastgele gezgin bir sayfaya ne kadar sık ulaşırsa, sayfa o kadar önemli kabul edilir. Page'in web tarayıcısı Mart 1996'da kendi Stanford ana sayfasından çalışmaya başladı. PageRank makalesinin resmî yayını, Ocak 1998'de Stanford Teknik Raporu olarak gerçekleşti. Ağustos 1996'ya kadar BackRub, bağlantılar üzerinden keşfedilen - yalnızca bir kısmı taranmış olan - yaklaşık 75 milyon URL'yi bulmuştu. Stanford prototipinin erken sürümü bile Excite veya Yahoo! gibi dönemin arama hizmetlerinden daha ilgili sonuçlar veriyordu. Stanford patenti aldı ve elindeki 1,8 milyon Google hissesini 2005'te 336 milyon dolara sattı. Bir üniversite projesinden en başarılı arama motorlarından biri - ve modern web YZ'sinin temeli - doğdu.
Deep Blue Kasparov'u yendi
Bir makinenin turnuva koşullarında mevcut satranç dünya şampiyonunu yendiği ilk maç zaferi. 11 Mayıs 1997'de Deep Blue tarihe geçti: IBM süper bilgisayarı, New York'taki rövanş maçında Garry Kasparov'u 3,5:2,5 yenerek şampiyonu geçti. 1996'daki yenilginin ardından IBM sistemi köklü biçimde yeniden tasarladı: yeni satranç çipleri hızı saniyede 200 milyon pozisyona çıkardı, geliştirilmiş son oyun veri tabanları ve büyükusta danışmanlığı oyun gücünü artırdı. Belirleyici altıncı oyun yalnızca bir saat sürdü; bir at kurbanının ardından Kasparov hızla nesnel olarak kaybedilen bir konuma düştü ve 19. hamlede pes etti; bu, kariyerinde eşi görülmemiş bir andı. Zafer, bilgisayarların karmaşık stratejik düşünmedeki üstünlüğünü ilk kez ortaya koydu ve kamuoyunun YZ algısında bir dönüm noktası oldu. Deep Blue'nun 700.000 dolarlık ödülü, bu makine zekası zaferinin tarihi önemini pekiştirdi.
LSTM: Uzun Kısa Süreli Bellek
Kaybolan Gradyan Probleminin çözümü ve etkili dizi modellemenin doğuşu. 15 Kasım 1997'de Sepp Hochreiter ve Jürgen Schmidhuber, Neural Computation'da çığır açan 'Long Short-Term Memory' makalesini yayınladı. Yenilikleri, tekrarlayan ağların temel bir sorununu çözdü: uzun dizilerde gradyanların kaybolması. LSTM, binlerce zaman adımı boyunca sabit hata akışını sağlayan kapı mekanizmalarına sahip özel bellek hücreleri tanıttı. Çarpımsal kapılar, sabit hata döngeleme yoluna erişimi açmayı ve kapatmayı öğrenir. Zaman adımı başına O(1) karmaşıklık ve yerel öğrenme ile LSTM, o zamanki tüm RNN yöntemlerini açıkça geride bıraktı. Sistem, daha önce çözülemeyen karmaşık uzun zaman gecikmeli problemleri ilk kez çözdü. LSTM, modern konuşma tanıma, çeviri ve zaman serisi analizinin temeli oldu.
MNIST: Makine Öğrenimi Standardı
Bilgisayarla görme başlangıcı için en önemli kıyaslama veri kümelerinden birinin oluşturulması. 1998 yılında Yann LeCun, Corinna Cortes ve Christopher Burges, el yazısıyla yazılmış rakamlardan oluşan küratörlenmiş bir koleksiyon olan MNIST veri kümesini tanıttı; bu veri kümesi makine öğreniminin 'Hello World'ü haline geldi. NIST'in Special Database 3 ve Special Database 1'e dayanan MNIST, 70.000 normalleştirilmiş 28x28 piksel gri tonlamalı görüntü içerir: 60.000 eğitim için, 10.000 test için. Titiz ön işleme ve kenar yumuşatma, MNIST'i zahmetli veri hazırlığı gerektirmeden öğrenme amaçlı ideal kıldı. MNIST, 'Gradient-based learning applied to document recognition' (Proceedings of the IEEE, Kasım 1998) adlı makalede yayımlandı. Veri kümesi, sayısız makine öğrenimi algoritması için standart kıyaslama haline geldi ve nesiller boyu öğrencilerin bilgisayarla görme alanındaki ilk başarılarını deneyimlemesini sağladı. MNIST, makine öğrenimi eğitimini dünya genelinde demokratikleştirdi.
Rastgele Orman: Topluluk yöntemlerinde atılım
2001'de UC Berkeley'den Leo Breiman, tüm zamanların en çok alıntılanan makine öğrenimi makalelerinden birini yayımladı: 'Random Forests'. Bu algoritma, topluluk yöntemleri (Ensemble Methods) kavramını önemli ölçüde dönüştürdü ve modern istatistiğin en önemli araçlarından biri hâline geldi. Temel fikir parlak bir biçimde basitti: Tek bir karar ağacı yerine yüzlerce rastgele ağaç eğitilir ve hepsinin oyu alınır. Her ağaç, verilerin ve özelliklerin (Feature) yalnızca rastgele bir bölümünü görür - paketleme (Bagging), özellik rastgeleleştirmeyle birleştirilir. Sonuç: Ciddi ölçüde azaltılmış aşırı uydurma (Overfitting) sorunları ve olağanüstü tahmin doğruluğu. Breiman, ağaç gücü ve korelasyona dayalı genelleme hataları çerçevesinde teorik temeli de sağladı. Rastgele Orman, minimum ayar gerektiren ve azami performans sunan 'tak-çalıştır' makine öğrenimi algoritmalarından biri hâline geldi. Biyoinformatikten finansal piyasa analizine kadar Rastgele Orman bugün de sayısız uygulamaya egemendir ve topluluk yöntemlerini standart bir araç olarak yerleştirdi - daha sonra XGBoost'un ortaya çıktığı güçlendirme (Boosting) çizgisiyle eş zamanlı olarak.
Future of Humanity Institute kuruldu
YZ güvenliği araştırmalarının ve varoluşsal risk değerlendirmesinin kurumsallaşması. 2005 yılında Nick Bostrom, Oxford Üniversitesi'nde Future of Humanity Institute'ü çok disiplinli bir araştırma grubu olarak kurdu. Yalnızca üç araştırmacıyla başlayan FHI, parlak ve çoğunlukla alışılmışın dışındaki düşünürler için entelektüel bir çekim merkezine dönüştü ve yaklaşık 40 çalışana ulaştı. Enstitü yeni araştırma alanları oluşturdu: varoluşsal riskler, YZ Uyumu (AI Alignment), YZ Yönetişimi (AI Governance) ve uzun vadeli düşünce (Longtermism). Bostrom'un 'The fable of the dragon tyrant' (2005) ve 'What is a singleton?' (2006) gibi erken dönem yayınları YZ güvenliği üzerine düşünce biçimlerini şekillendirdi. 2024'teki kapanışına dek süren görece kısa 19 yıllık varlığına karşın FHI, insanlığın büyük sorularını ele alan yeni bir düşünme biçimi ve önemli ilerlemeler üretemeden kapısını kapattı. Oxford'un YZ güvenliği araştırmalarına akademik meşruiyet kazandırması alana bilimsel güvenilirlik sağladı.
DARPA Grand Challenge: Otonom sürüşün doğuşu
8 Ekim 2005'te 'Stanley' adlı mavi bir Volkswagen Touareg tarihe geçti. Sebastian Thrun liderliğindeki Stanford Racing Team, dünyanın ilk başarılı otonom araç yarışması olan DARPA Grand Challenge'ı kazandı. 2004'te tüm katılımcıların başarısız olduğu yarışmada (en iyi derece: 7,4 mil yani 11,9 km) Stanley, 212 km'lik çöl parkurunu 6 saat 53 dakikada tamamladı. Beş araç hedefe ulaştı, dördü süre sınırı içinde - bir önceki yılın sıfır başarısına kıyasla büyük bir ilerleme. Stanley, üç dar tünelden, 100'den fazla keskin virajdan ve uçurumlarıyla tehlikeli Beer Bottle Pass'tan geçti. Yenilik donanımda değil, yazılımdaydı: LiDAR sensörleri, makine öğrenimi ve insanın sürüş kararlarından oluşan bir günlük Stanley'e daha önce hiçbir robotun sahip olmadığı yetenekler kazandırdı. 2 milyon dolarlık ödül yalnızca bir başlangıçtı; Stanley, Tesla Autopilot, Google Waymo ve tüm otonom araç endüstrisinin temelini attı. Bugün Stanley, Smithsonian Müzesi'nde sergilenmektedir.
Derin İnanç Ağları: Derin Öğrenmenin rönesansı
Geoffrey Hinton, 2006'da Derin İnanç Ağları (Deep Belief Networks) üzerine kaleme aldığı önemli makaleyle YZ dünyasını değiştirdi. Yıllarca göz ardı edilen yapay sinir ağlarının ardından derin yapay sinir ağlarının nasıl verimli biçimde eğitilebileceğini gösterdi. Yeniliği şuydu: Kısıtlı Boltzmann Makineleri (Restricted Boltzmann Machines - RBM) ile katman katman ön eğitim. Bu 'açgözlü' öğrenme stratejisi ağırlık başlatma sorununu çözüyor ve Derin Öğrenmeyi pratikte uygulanabilir kılıyordu. Yöntem, RBM'leri üst üste yığıyor ve tüm ağ ince ayar yapılmadan önce her katmanı ayrı ayrı eğitiyor. Hinton'ın çalışması yapay sinir ağlarının yıllarca süren gölgede kalmasına son verdi ve rönesansını başlattı. 2009'da zaten Derin İnanç Ağları, konuşma tanımadaki hata oranlarını önemli ölçüde azalttı. 2012'de Hinton'ın ekibi ImageNet yarışmasını (ILSVRC) AlexNet ile kazandı; bu derin Evrişimli Sinir Ağı, GPU eğitimi, ReLU ve Dropout kullanıyor, artık Derin İnanç Ağlarının RBM ön eğitimine ihtiyaç duymuyordu. AlexNet, ikinci en iyi ekibin yüzde 26,2'sine karşılık yüzde 15,3 ilk-5 hata oranına ulaştı - kayda değer bir gelişme. Bu an, yapay sinir ağlarının yeniden doğuşunu ve günümüz YZ patlamasının başlangıcını işaret ediyor.
Netflix Ödülü: Milyoner yapan algoritma
2006 yılında Netflix, makine öğrenimini kamuoyuna açık bir kitlesel kaynak yarışmasıyla demokratikleştirdi: büyük bir veri kümesi ve 1 milyon dolar ödül. 2 Ekim 2006'da Netflix, bu milyon dolarlık meydan okumayı başlattı: Cinematch öneri algoritmasını yüzde 10 iyileştirebilecek kim vardı? Netflix, 17.770 film için 480.000 kullanıcıya ait 100 milyondan fazla değerlendirmeyle en büyük kamuya açık makine öğrenimi veri kümelerinden birini sundu. 186 ülkeden 40.000'i aşkın ekip kayıt yaptırdı; bunlardan 5.000'den fazlası nitelendirme sıralamasına girdi ve toplamda yaklaşık 44.000 geçerli çözüm gönderdi. 'BellKors Pragmatic Chaos' ekibi 26 Haziran 2009'da yüzde 10 sınırını ilk geçen takım olarak 30 günlük son çağrıyı başlattı; bu süreç 26 Temmuz 2009'da sona erdi. Yüzde 10,06 iyileştirmeyle yarışmanın galibi 21 Eylül 2009'daki ödül töreninde resmî olarak ilan edildi. Başarı formülü: Matris çarpanlara ayırma (Matrix Factorization) ve Kısıtlı Boltzmann Makinelerinin (Restricted Boltzmann Machines) birleşiminden oluşan bir topluluk yaklaşımıydı. Yarışma, işbirlikçi filtrelemeyi (Collaborative Filtering) önemli ölçüde dönüştürdü ve karmaşık makine öğrenimi sorunları için kitlesel kaynak gücünü kanıtladı. Netflix kazanan algoritmaları hiçbir zaman üretime almasa da (uygulama maliyetleri çok yüksekti) yarışma, modern öneri sistemi endüstrisini kalıcı biçimde etkiledi.
Common Crawl Foundation kuruldu
Yapay zeka için eğitim verisi olarak internetin demokratikleştirilmesi. Gil Elbaz, 2007'de Common Crawl Foundation'ı şu misyonla kurdu: tüm kamusal interneti arşivlemek ve ücretsiz erişime açmak. 2008'de başlayan sistematik tarama faaliyeti, o tarihten bu yana her ay milyarlarca sayfa büyüyen bir külliyat oluşturdu; bu külliyat 2024 itibarıyla 100 milyarı aşkın web sayfası ve birkaç Petabayt veri büyüklüğüne ulaştı. Bu koleksiyon, Büyük Dil Modellerinin (Large Language Model) en önemli eğitim kaynağı haline geldi ve GPT-3, ChatGPT, LLaMA ile diğer modern YZ sistemlerinin geliştirilmesini mümkün kıldı. Common Crawl, kâr amacı gütmeyen yapısı ve ücretsiz erişimiyle ticari yaklaşımlardan ayrıştı. Filtrelenmemiş ham veri koleksiyonu işleme gerektirse de kapsamlı dil verilerine erişimi demokratikleştirdi ve YZ araştırmalarını tescilli veri setlerine olan bağımlılıktan kurtardı.
CUDA: Grafik kartı YZ motoruna dönüşüyor
2012'nin YZ devrimi yalnızca algoritmalar üzerinde değil — grafik kartları üzerinde de çalıştı. Bunun zeminini 2007'de NVIDIA, CUDA ile hazırladı: C benzeri bir dilde normal programları doğrudan GPU üzerinde çalıştırmayı mümkün kılan bir platform — artık yalnızca grafik değil. 2006 sonunda G80 çipiyle duyurulan, Şubat 2007'de kamuya beta sürümü olarak sunulan ve Haziran 2007'de sürüm 1.0 olarak yayımlanan CUDA, grafik işlemcilerin muazzam paralelliğini ilk kez geniş kitlelerin erişimine açtı. Bu durum, hesaplamasının özü matris çarpımlarından oluşan yapay sinir ağlarına mükemmel biçimde uyar — binlerce küçük işlem aynı anda. Beş yıl sonra Krizhevsky, Sutskever ve Hinton, AlexNet'i CUDA ile iki NVIDIA GTX 580 kartı üzerinde eğitti — Derin Öğrenmeyi ateşleyen atılım buydu. 2014'ten itibaren NVIDIA'nın cuDNN'i, günümüzde TensorFlow, PyTorch ve diğerlerinin üzerinde çalıştığı optimize edilmiş yapı taşlarını sundu. Dürüst bir değerlendirme yapacak olursak: CUDA, GPGPU'yu icat etmedi (programlanabilir shader'lar 2001'den, BrookGPU 2004'ten beri mevcuttu) ve Derin Öğrenmeye tek başına yol açmadı — ama gerekli hesaplama gücünü erişilebilir kıldı ve bu olmadan geri kalanı mümkün olmazdı.
Zero-Shot Learning: Verisiz öğrenme
Anlamsal betimlemeler aracılığıyla görülmemiş sınıfların öğrenilmesinin biçimselleştirilmesi. Temmuz 2008'de Hugo Larochelle, Dumitru Erhan ve Yoshua Bengio, AAAI konferansında 'Zero-data Learning of New Tasks' adlı çalışmalarını yayımladı ve teorik öncül biçimlendirmeyi ortaya koydu. 'Zero-Shot Learning' adını ise 2009 yılında iki farklı grup belirledi: Palatucci ve meslektaşları NIPS 2009'da 'Zero-Shot Learning with Semantic Output Codes' çalışmasıyla ve Lampert ile meslektaşları CVPR 2009'da öznitelik tabanlı yaklaşımlarıyla. Temel problem şuydu: Bir model, yalnızca betimlemeleri olan ve hiç eğitim verisi bulunmayan sınıfları nasıl sınıflandırabilir? Çözüm, anlamsal gömme (Semantic Embedding) ve aktarım öğreniminde (Transfer Learning) yatıyordu; yani eğitilmiş modellerin yeni görevler için yeniden kullanılmasında. Larochelle'in biçimlendirmesi, eğitim verileriyle tam olarak kapsanamayan çok büyük sınıf kümelerini ele aldı. Deneysel analizler bu bağlamda önemli genelleme yeteneklerini kanıtladı. Bu çalışma, GPT-3, GPT-4 ve diğer Büyük Dil Modellerindeki modern az atışlı (Few-Shot) ve sıfır atışlı (Zero-Shot) yeteneklerin kavramsal temelini attı. Zero-Shot Learning, ölçeklenebilir YZ sistemleri için kilit bir teknoloji haline geldi.
CIFAR Veri Setleri Oluşturuldu
Bilgisayarlı Görü için temel bir kıyaslamanın oluşturulması. 2009'da Toronto Üniversitesi'nden Alex Krizhevsky, Vinod Nair ve Geoffrey Hinton, CIFAR-10 ve CIFAR-100 veri setlerini geliştirdi.
ImageNet: Her şeyi değiştiren veri kümesi
Derin Öğrenme gelişimini mümkün kılan veri kümesinin oluşturulması. 2009 yılında Fei-Fei Li, ekibiyle birlikte ImageNet makalesini sunarak Bilgisayarla Görme alanını dönüştürmesi hedeflenen bir görsel veritabanı tanıttı; lansmanında yaklaşık 3,2 milyon elle notlandırılmış görüntü ve yaklaşık 5.200 kategori bulunuyordu. Tam kapasitesine ulaştığında ImageNet, WordNet hiyerarşilerine dayanan 14 milyondan fazla elle notlandırılmış görüntü ve yaklaşık 22.000 kategoriyi kapsadı; böylece kritik darboğazı yani büyük ve yüksek kaliteli eğitim verisi eksikliğini giderdi. Notlandırma süreci boyunca Amazon Mechanical Turk aracılığıyla 167 ülkeden yaklaşık 49.000 çalışan projeye katkıda bulundu — örnek almayacak kadar iş birlikçi bir proje. Miami Beach'teki bir konferans merkezinin köşesindeki poster olarak başlayan bu girişim yıllık ImageNet Challenge'a (ILSVRC) dönüştü ve modern YZ gelişiminin üç itici gücünden biri haline geldi. ImageNet, AlexNet'in 2012 atılımını mümkün kıldı ve otonom araçlar, yüz tanıma ve tıbbi görüntüleme için temel oluşturdu.
DeepMind Kuruldu
Manşetlere çıkacak bir yapay zeka laboratuvarının doğuşu. Eylül 2010'da Demis Hassabis, Shane Legg ve Mustafa Suleyman, Londra'da DeepMind Technologies'i kurdu. Hedefleri: Nörobilim ve makine öğrenmesi bulgularını birleştirerek Genel Yapay Zeka geliştirmek. Eski bir satranç dahi ve oyun geliştiricisi olan Hassabis, benzersiz bir vizyon getirdi: Yapay zeka insan beyni gibi öğrenmeliydi. 2014'te Google, girişimi tahmini 500 milyon dolara satın aldı - tarihin en büyük yapay zeka satın almalarından biri. DeepMind daha sonra AlphaGo, AlphaFold ve diğer atılımlarla dünyayı şaşırtacaktı.
ImageNet Challenge: Yarışma başlıyor
YZ tarihinin en önemli Bilgisayarla Görme kıyaslama testinin kurulması. 2010 yılında ilk ImageNet Large Scale Visual Recognition Challenge (ILSVRC) başladı ve sonraki on yıl boyunca Bilgisayarla Görme araştırmalarını şekillendirecek standart bir yarışma yarattı. Yalnızca 20 sınıftan oluşan PASCAL VOC gibi dönemin mevcut kıyaslama testlerini 1.000 nesne kategorisi ve 1,2 milyon eğitim görüntüsüyle çok geride bırakan bu yarışma, bugün de standart olmaya devam eden Top-1 ve Top-5 hata oranı metriklerini değerlendirme kriteri olarak benimsedi. 2010'dan 2017'ye kadar kazananların Top-5 doğruluk oranı yüzde 71,8'den yüzde 97,3'e yükselerek insan performansını aştı. Yıllık yarışma, dünya genelinde 50'den fazla kurumu bir araya getirerek 2012'de AlexNet'in önemli atılımıyla sonuçlanan ilerlemeyi hızlandırdı — Top-5 hata oranı yalnızca yüzde 15,3 (yaklaşık yüzde 84,7 doğruluk).
Watson, Jeopardy Şampiyonlarını Yendi
IBM'in Doğal Dil İşleme alanındaki zaferi ve makine dili anlayışının kanıtı. 16 Şubat 2011'de IBM'in Watson sistemi, televizyonda yayınlanan Jeopardy yarışmasında tüm zamanların en başarılı iki şampiyonunu yendi: Ken Jennings (74 ardışık galibiyet) ve Brad Rutter (2005 yılına kadar 3,25 milyon dolar kazanç). David Ferrucci'nin DeepQA ekibi tarafından geliştirilen Watson; 16 terabayt RAM ve 2.880 POWER7 işlemci çekirdeğine sahip 10 rafta konumlanan 90 IBM Power 750 sunucusundan oluşuyordu. Yenilik, Doğal Dil İşleme alanındaydı: Watson, doğal dildeki soruları internet bağlantısı olmadan anlıyor ve herhangi bir standart arama teknolojisinden daha kesin yanıtlar veriyordu. 77.147 dolarlık kazancıyla (hayır kurumuna bağışlandı) Watson, insan rakiplerini 50.000 dolardan fazla farkla geride bıraktı. Ken Jennings'in ünlü kapanış notu 'I for one welcome our new computer overlords', bu NLP dönüm noktasının tarihsel önemini vurguladı.
Siri'nin Lansmanı: Sesli asistan akıllı telefonlarda ana akıma iniyor
Apple, 4 Ekim 2011'de iPhone 4S ile birlikte Siri'yi tanıtarak insan-bilgisayar etkileşimini önemli ölçüde değiştirdi. Akıllı telefona derinlemesine entegre edilen ilk kitlesel sesli asistan olarak Siri, YZ'yi milyonlarca insanın cebine taşıdı. 'Bugün hava nasıl?' ya da 'Bana iyi bir Yunan restoranı bul' - artık kullanıcılar telefonlarıyla doğal bir şekilde konuşabiliyordu. Siri tamamen yeni bir buluş değildi: 2010'dan beri Siri Inc.'in (Apple tarafından satın alınan) bağımsız bir iOS uygulaması olarak mevcuttu ve Google'ın Voice Actions ile halihazırda sesli arama sunuyordu. Ancak Apple'ın işletim sistemine sorunsuz entegrasyonu sesli asistanı bir kitle fenomenine dönüştürdü. Siri, SRI International ve DARPA'nın CALO projesindeki onlarca yıllık araştırmaya dayanıyordu. Susan Bennett, 2005'te farkında olmadan orijinal sesi zaten kaydetmişti. Hastalığının son günlerinde olan Steve Jobs, lansman etkinliğinde artık sahne almadı - Tim Cook iPhone 4S'i tanıttı. Siri'nin tanıtımından bir gün sonra Jobs hayatını kaybetti. Siri mükemmel değildi - eleştirmenler katı komutları ve esneklik eksikliğini eleştirdi. Ancak hedef gerçekleşmişti: YZ ana akıma girmişti. Siri, Amazon Alexa'ya, Google Assistant'a ve Microsoft Cortana'ya ilham verdi. Sesli asistanlar çağı başlamıştı.
Dropout düzenlileştirmesi
Geoffrey Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever ve Ruslan Salakhutdinov, Temmuz 2012'de Dropout düzenlileştirmesini icat ederek yapay sinir ağlarının eğitimini önemli ölçüde dönüştürdü. Bu zarif teknik, eğitim sırasında nöronların yaklaşık yarısını rastgele devre dışı bırakarak karmaşık ortak uyumları önler ve böylece aşırı uydurmanın (Overfitting) önüne geçer. Her nöron, belirli özellik kombinasyonları yerine sağlam, genel kullanışlı tanıma kalıpları öğrenir. 3 Temmuz 2012'de arXiv'de yayımlanan yöntem, birkaç ay sonra AlexNet'in ILSVRC 2012'deki ImageNet zaferinin yapı taşlarından biri haline geldi — GPU eğitimi, ReLU aktivasyonu ve ağ derinliğinin yanı sıra — ve modern Derin Öğrenme mimarilerinin çoğunda standart haline geldi. Dropout, dil ve nesne tanımada yeni rekorlar kırdı ve derin ağların temel aşırı uydurma sorununu çözdü.
AlexNet'in başarısı
Derin öğrenme ve modern YZ için dönüm noktası. 30 Eylül 2012'de ImageNet Challenge sonuçları yayımlandı; AlexNet bu yarışmayı o denli büyük bir farkla kazandı ki bilgisayarlı görü kalıcı biçimde değişti. Toronto Üniversitesi'nden Alex Krizhevsky, Ilya Sutskever ve Geoffrey Hinton, rakiplerini kayda değer 10,9 yüzde puanıyla geride bırakan bir CNN mimarisi geliştirdi; bu, bilim dünyasında olağanüstü kabul edilen bir gelişmeydi. 60 milyon parametresi ve ReLU aktivasyonları ile Dropout katmanları gibi yenilikçi teknikleriyle AlexNet, derin öğrenmenin pratik üstünlüğünü çarpıcı biçimde ortaya koydu. Bu, ilginç bir teorinin baskın bir teknolojiye dönüştüğü andı. Yann LeCun bunu 'bilgisayarlı görü tarihinde tartışmasız bir dönüm noktası' olarak nitelendirdi. GPU tabanlı uygulama, modern YZ geliştirmenin önünü açtı.
Derin Öğrenme devrimi
Modern YZ çağını başlatan yıl: veri setleri, GPU gücü ve sinir ağı mimarilerinin buluşması. 2012, Derin Öğrenmenin baskın YZ teknolojisi olarak yükselişini işaret ediyor; bunu AlexNet'in etkileyici ImageNet zaferi hızlandırdı. Üç gelişmenin bir araya gelmesi bunu mümkün kıldı: Fei-Fei Li'nin ImageNet veri seti büyük ölçekli etiketlenmiş eğitim verisi sağladı, GPU hesaplama derin ağlar için gerekli işlem gücüne ulaştı ve ReLU aktivasyonları ile Dropout düzenlemesi gibi geliştirilmiş eğitim yöntemleri eski kısıtlamaların üstesinden geldi. Geoffrey Hinton'ın ekibi - Alex Krizhevsky, Ilya Sutskever ve Hinton'ın kendisi - Krizhevsky'nin ebeveyn evinde iki Nvidia kartıyla Derin Sinir Ağlarının pratikte uygulanabilir olduğunu kanıtladı. AlexNet, Bilgisayarlı Görü için bir dönüm noktası oldu. Bu başarı Derin Öğrenmeye olan ilgiyi önemli ölçüde artırdı ve VGG, ResNet ile günümüz Üretici YZ gelişmelerinin önünü açtı.
Word2Vec: Kelimeler vektör olarak
Anlambilimsel vektör uzayları aracılığıyla kelime temsilinin dönüşümü. 16 Ocak 2013'te Tomas Mikolov, Google ekibiyle birlikte 'Vektör Uzayında Kelime Temsillerinin Verimli Tahmini' başlıklı çığır açan makalesini yayımladı. Word2Vec, kelimeleri anlambilimsel ve sözdizimsel ilişkileri yakalayan yoğun, düşük boyutlu vektörler (tipik olarak 100 ila 300 boyut) olarak temsil ederek Doğal Dil İşlemeyi (NLP) dönüştürdü; bu yaklaşım, önceki yöntemlerin devasa ve seyrek One-Hot vektörleriyle köklü bir kopuşu simgeliyordu. İki mimari varyant olan CBOW (Continuous Bag of Words) ve Skip-Gram, benzer kelimelerin benzer bağlamlarda geçtiğini büyük metin korpuslarından öğrendi. Ünlü örnek, vektör aritmetiğini şöyle gösteriyordu: Kral - Adam + Kadın = Kraliçe. 49.000'i aşkın atıfıyla Mikolov'un çalışması, NLP alanının en etkili makalelerinden biri oldu. Word2Vec, tüm modern gömme (embedding) tekniklerinin temelini attı ve vektör uzaylarında anlambilimsel akıl yürütmeyi mümkün kıldı. Bu yenilik, Transformer mimarilerinin ve modern Büyük Dil Modellerinin (LLM) önünü açtı.
VAE: Değişimsel Otokodlayıcılar
Gizli uzay modellemesi aracılığıyla olasılıksal üretici modellerin geliştirilmesi. 20 Aralık 2013'te Diederik Kingma ve Max Welling, 'Auto-Encoding Variational Bayes' (Otokodlama Değişimsel Bayes) adlı makaleyi yayımladı. VAE'ler, kodlayıcı ve kod çözücü ağları olasılıksal bir gizli uzay - tipik olarak çok değişkenli Gauss dağılımı - aracılığıyla birbirine bağlar. Deterministik otokodlayıcıların aksine kodlayıcı, verileri tek nokta yerine dağılım olarak kodlar; bu da sürekli enterpolasyon ve veri üretimini mümkün kılar. Yeniden parametreleştirme (Reparameterization) hilesi, rastgeleliği model girdisi olarak türevlenebilir kılar ve standart gradyan optimizasyonuna olanak tanır. Deneylerinde VAE'ler el yazısıyla yazılmış rakamlar (MNIST) ve küçük yüz görüntüleri (Frey Faces) üretti - henüz bulanık ancak değişimsel çıkarımın (variational inference) uygulanabilirliğini kanıtlayan öncü bir çalışma olarak. Bu çalışma modern üretici YZ'nin temelini attı ve Diffusion Model'lere kadar sonraki olasılıksal yaklaşımları şekillendirdi.
Adam: Derin öğrenmenin standart optimize edicisi
Bir yapay sinir ağının öğrenebilmesi için bir optimize edicinin milyonlarca ayar vidasını adım adım doğru yönde çevirmesi gerekir. 2014'te Diederik Kingma ve Jimmy Ba, kısa sürede sektörün en yaygın kullanılan yöntemi haline gelen bir yaklaşım sundu: İngilizce Adaptive Moment Estimation ifadesinden türetilen (ancak bir kısaltma olmayan) Adam. Adam'ın püf noktası, her bir parametre için otomatik olarak ayarlanan ayrı bir öğrenme hızı tutmasıdır. Bunun için iki köklü fikri birleştirir: mevcut yönü koruyan Momentum ve RMSProp tarzı uyarlamalı adım büyüklükleri. Sonuç olarak ağlar, öğrenme hızı üzerinde zahmetli denemeler yapmadan gürbüz bir şekilde eğitilir. Makale, YZ araştırmalarının en çok atıf alan çalışmaları arasına girdi. Dürüst bir değerlendirme yapacak olursak: Adam bir sihirli değnek değildir. Bazı durumlarda daha sade SGD, yeni verilere daha iyi genelleştirir. Ayrıca Adam, AdaGrad ve RMSProp gibi öncüllerine dayanmaktadır; AdamW (2017) gibi sonraki varyantların orijinalin zayıf noktalarını gidermesi gerekmiştir.
MS COCO: Bilgisayarla görmenin altın standardı
2014 yılında Microsoft Research, Cornell Üniversitesi ve UC Berkeley'den oluşan bir araştırma ekibi, COCO veri kümesiyle (Common Objects in Context) bilgisayarla görme araştırmalarını önemli ölçüde dönüştürdü. Yalnızca izole nesneler içeren ImageNet'ten farklı olarak COCO, nesneleri doğal bağlamlarında - gerçek dünyada göründükleri gibi - gösteriyordu. 91 kategoride düzenlenen 328.000 görüntüde 2,5 milyon açıklama yer alıyordu; bunlardan 80 tanesi bugün hâlâ kullanılan tespit kıyaslamasını oluşturuyordu - tamamı 4 yaşında bir çocuğun tanıyabileceği günlük nesnelerdi. İnovasyon ayrıntıda yatıyordu: Yalnızca sınır kutularının değil, piksel düzeyinde hassas segmentasyon maskelerinin kullanılması. COCO, ilk kez hassas nesne konumlandırmayı ve karmaşık sahne anlayışını mümkün kıldı. Veri kümesi, nesne tespiti (Object Detection), örnek segmentasyonu (Instance Segmentation) ve görüntü altyazılama (Image Captioning) için altın standart hâline geldi. YOLO'dan Mask R-CNN'e kadar tüm büyük bilgisayarla görme modelleri COCO'ya göre ölçülmektedir. Ortalama Hassasiyet Ortalaması (mean Average Precision - mAP) gibi standartlaştırılmış ölçütler, model karşılaştırmalarını nesnel biçimde mümkün kıldı. On yılı aşkın bir süre sonra COCO, bilgisayarla görme topluluğunun en önemli kıyaslaması olmaya devam etmektedir. COCO olmadan otonom araçlarda, güvenlik sistemlerinde veya artırılmış gerçeklikte (Augmented Reality) modern nesne tanıma sistemleri var olamazdı.
GAN'lar - Üretici Çekişmeli Ağlar
Ian Goodfellow, 2014 yılında Montreal'de bir bar ziyaretinin ardından geçirdiği bir gecede Üretici Çekişmeli Ağları (Generative Adversarial Networks - GAN'lar) icat etti. Çığır açan bu çerçeve, iki yapay sinir ağını bir minimax oyununda birbirine karşı çalıştırır: Bir üretici (Generator) yapay veriler oluşturur, bir ayırt edici (Diskriminator) gerçeği sahteyi ayırt etmeye çalışır. Bu çekişmeli eğitim, üretici YZ'yi temelden dönüştürdü. 2014 tarihli özgün GAN yalnızca küçük, bulanık görüntüler (basamaklar ve yüzler gibi) üretti; ancak daha sonra gerçekçi fotoğraf kalitesinde görüntü üretiminin önünü açtı. 2014'te arXiv'de yayımlanan çalışma, en etkili YZ makalelerinden biri haline geldi ve Goodfellow'u YZ dünyasında tanınan bir isim yaptı. Yüzlerce GAN varyantı bu çalışmanın izinden gitti.
Dikkat Mekanizması: Modern LLM'lerin Anahtarı
Eylül 2014: Dzmitry Bahdanau, Kyunghyun Cho ve Yoshua Bengio, NLP dünyasını kalıcı biçimde değiştirecek bir makale yayımladı. 'Neural Machine Translation by Jointly Learning to Align and Translate' (Hizalamayı ve Çevirmeyi Birlikte Öğrenerek Sinir Makine Çevirisi), Sequence-to-Sequence modellerinin temel bir sorununu çözdü. Önceki Kodlayıcı-Kodçözücü (Encoder-Decoder) mimarileri, her giriş cümlesini tek bir sabit uzunluklu vektöre sıkıştırıyordu - bu, uzun cümleler için bir bilgi darboğazıydı. Bahdanau Dikkat Mekanizması (Bahdanau Attention) önemli bir ilerlemeyi temsil ediyordu: Sabit bir vektör yerine model, giriş cümlesinin farklı bölümlerine dinamik dikkat kullandı. İnsan gözünün okurken atlaması gibi, YZ dikkati de ilgili kelimeler arasında ileri geri sıçradı. Bu 'Toplamsal Dikkat' (Additive Attention), modern NLP sistemlerinin kavramsal öncüsü oldu. Sonraki Transformer (2017), dikkat (attention) fikrini benimsedi ancak toplamsal varyantın yerine daha verimli Olçeklendirilmis Nokta Carpimi Dikkat'ini (Scaled-Dot-Product-Attention) koydu. Bahdanau'nun dikkat kavramı olmadan Transformer olmazdı, Transformer olmadan GPT ailesi veya BERT olmazdı. Bu gelişme, 'Attention Is All You Need' makalesinden üç yıl önce gerçekleşti.
Amazon Alexa ve Echo Lansmanı
Amazon, 6 Kasım 2014'te Alexa ve Echo Akıllı Hoparlörünü tanıtarak insan ile teknoloji arasındaki etkileşimi önemli ölçüde değiştirdi. Echo, başlangıçta yalnızca davetiye ile ve yalnızca Prime üyeleri için satışa sunuldu; 2015'teki halka açık satışla birlikte Sesli YZ (Voice AI), geniş tüketici kitlelerine erişilebilir hale geldi ve evi sesle kontrol edilen bir ortama dönüştürdü. Amazon, 24 Ocak 2013'te satın aldığı Polonyalı konuşma sentezi teknolojisi Ivona üzerine bütünüyle yeni bir kullanıcı deneyimi oluşturdu. Echo, müzik kontrol cihazı olarak başladı ancak hızla evrensel bir Akıllı Ev (Smart Home) merkezine dönüştü. Bu yenilik, kitlesel bir kategori yarattı ve pek çok rakibi ilham veren Akıllı Hoparlör pazarında kapsamlı bir gelişmenin başlangıcını işaret etti.
Derin Q-Ağları: YZ Atari'yi piksellerden öğreniyor
AlphaGo manşetlere taşınmadan çok önce DeepMind, 2015'te bir YZ sisteminin Atari video oyunlarını yalnızca ham piksellerden öğrenmesini sağladı — ve böylece Derin Pekiştirmeli Öğrenmenin temellerini attı. Şubat 2015'te Volodymyr Mnih liderliğindeki ekip, Nature dergisinde 'Human-level control through deep reinforcement learning' (İnsanlara özgü kontrol düzeyi derin pekiştirmeli öğrenme yoluyla) makalesini yayımladı (ilk bir öncü sürüm 2013'te çıkmıştı). Yalnızca ekranı ve puanı gören bir yapay sinir ağı, aynı mimariyle — her oyun için ayrıca ayarlama yapılmadan — 49 farklı Atari oyununu öğrendi. Teknik olarak DeepMind, bir evrişim ağını Q-Öğrenimi ile, bir deneyim deposuyla (Experience Replay — Lin tarafından 1990'ların başında tanıtılmıştı) ve kararlılığı artıran bir hedef ağıyla birleştirdi. Kesin bir değerlendirme yapmak gerekirse: Sistem, oyunların yaklaşık yarısında insan düzeyine ulaştı ve 49'un 43'ünde önceki tüm yöntemleri geride bıraktı — ancak Montezuma's Revenge gibi seyrek ödüllü oyunlarda neredeyse tamamen başarısız oldu. Buna karşın derin ağların ve pekiştirmeli öğrenmenin büyük ölçekte birlikte çalışabileceğinin kanıtıydı — 1990'ların Q-Öğreniminden AlphaGo ve AlphaZero'ya uzanan köprü.
Toplu Normalleştirme: Sinir Ağı Eğitiminde Önemli Bir İlerleme
11 Şubat 2015'te Google'dan Sergey Ioffe ve Christian Szegedy, derin yapay sinir ağlarının eğitimini kalıcı biçimde değiştiren bir makale yayımladı. Tanıları şuydu: 'Internal Covariate Shift' (İç Kovaryanslı Kayma) - eğitim sırasında her katmanın giriş dağılımının kayması, öğrenmeyi istikrarsız hale getiriyordu. Zarif çözümleri: Toplu Normalleştirme (Batch Normalization), her katmanın aktivasyonlarını her mini-toplu (mini-batch) için normalleştirir. Etki kayda değerdi: Aynı doğruluğa ulaşmak için yaklaşık 14 kat daha az eğitim adımı. Daha yüksek öğrenme hızları mümkün hale geldi, Dropout çoğunlukla gereksiz oldu, başlangıç değerleri daha az kritik hale geldi. Yöntem hem düzenleyici hem de hızlandırıcı işlev gördü. ImageNet topluluğu 4,8% Top-5 hata oranına ulaşarak insan değerlendiricileri (yakl. 5,1%) geride bıraktı. İlginç olan: Sonraki araştırmalar (Santurkar ve diğerleri, 2018), asıl etki mekanizmasının dizginlenmiş Kovaryanslı Kayma'dan daha az, düzleştirilmiş kayıp peyzajından daha çok kaynaklandığını gösterdi - dolayısıyla özgün açıklama bugün göreli hale geldi. 60.000'i aşkın atıfla bu makale, sayısız normalleştirme yöntemine ilham verdi: GroupNorm, LayerNorm, InstanceNorm. Bugün Toplu Normalleştirme, ResNet'ten modern CNN'lere kadar pek çok mimaride standart haline geldi; Transformer'lar ise genellikle bu makaleyle birlikte ilham verilen Katman Normalleştirmesini (Layer Normalization) tercih eder.
YOLO: You Only Look Once
Birleşik tek geçişli mimari aracılığıyla gerçek zamanlı nesne algılamanın dönüşümü. 8 Haziran 2015'te Joseph Redmon, Santosh Divvala, Ross Girshick ve Ali Farhadi çığır açan 'You Only Look Once: Unified, Real-Time Object Detection' makalesini sundu. YOLO, nesne algılamanın geleneksel iki aşamalı paradigmasını kırdı ve Algılamayı mekansal olarak ayrılmış sınırlayıcı kutular için regresyon problemi olarak formüle etti. Tek bir sinir ağı, tek bir değerlendirmede tam görüntülerden doğrudan sınırlayıcı kutuları ve sınıf olasılıklarını tahmin eder. 45 fps temel performans ve Fast YOLO'nun şaşırtıcı 155 fps ile sistem, mevcut algılayıcılardan yüzlerce ila binlerce kat daha hızlıydı. Izgara tabanlı mimari, görüntüleri hücrelere böldü ve her hücre merkezindeki nesneleri tahmin etti. YOLO genelleştirici nesne temsillerini öğrendi ve alan transferinde diğer yöntemleri önemli ölçüde geride bıraktı.
DeepMind AlphaGo geliştirmesi
Ekim 2015'te DeepMind tarihi bir atılım gerçekleştirdi: AlphaGo, tam bir tahta üzerinde handikapsız olarak profesyonel bir Go oyuncusunu yenen ilk YZ sistemi oldu. AlphaGo, Avrupalı Go şampiyonu Fan Hui'yi 5:0 yenerek dünyanın en karmaşık klasik tahta oyununu ele geçirdi — uzmanların tahmin ettiğinden on yıl önce. Maç başlangıçta gizli kaldı; başarı kamuoyuna ilk kez 27 Ocak 2016'da, Nature dergisindeki yayın ile birlikte duyuruldu. Go, satrançtan astronomik ölçüde daha karmaşıktır — yaklaşık bir Googol (10^100) kat daha fazla yasal pozisyon ve bilinen evrende atom sayısından daha fazla olası tahta konfigürasyonu. Bu dikkat çekici başarı, yapay sinir ağlarının ve Monte Carlo ağaç aramasının gücünü ortaya koydu.
Tesla Autopilot: Kitlesel Pazara Yönelik Sürüş Destek Sistemleri
14 Ekim 2015'te Tesla, 7.0 yazılım sürümünü yayınladı ve bu sayede Model S araçlarında Autopilot'u ilk kez etkinleştirdi. Donanım, yazılım aktivasyonundan bir yıl önce, Eylül 2014'ten itibaren araçlara monte edilmişti. Sistem, bir ön kamera, radar ve 12 ultrasonik sensörden oluşan Mobileye teknolojisini kullandı. Sürücüler artık uyarlanabilir hız sabitleme, şerit takip asistanı ve otomatik park gibi özellikleri kullanabiliyordu; bunlar daha önce yalnızca üst segment araçlara özgüydü. Tesla bunu Seviye 2 Özerklik olarak tanımladı: Sistem sürücüye destek verir, ancak onu yerini almaz. Musk, aktivasyon sırasında şunu vurguladı: 'Sürücülerin ellerini direksiyonda tutmalarını tavsiye ediyoruz.' Tesla filosu ilk yılda aktif Autopilot ile yüz milyonlarca kilometre topladı; 2016 sonuna kadar Tesla yaklaşık 222 milyon mil sürüldüğünü bildirdi. Donanımı önceden kurma ve özellikleri yazılım güncellemesiyle etkinleştirme kavramı otomotiv endüstrisine yeni bir yol gösterdi. Mercedes'ten Mobileye gibi saf teknoloji şirketlerine kadar pek çok aktör kendi sürüş destek sistemlerini geliştirdi.
TensorFlow: Google'ın ML Çerçevesi Açık Kaynak Oluyor
Google'ın güçlü dahili aracı aracılığıyla makine öğreniminin demokratikleştirilmesi. 9 Kasım 2015'te Google, TensorFlow'u Apache 2.0 lisansı altında açık kaynak yaptı ve ikinci ML sistemlerini herkes için erişilebilir kıldı. TensorFlow, dahili DistBelief sisteminin yerini aldı ve geliştirilmiş ölçeklenebilirlik ve üretime hazırlıkla iki kat hız sundu. Evrensel hesaplama akışı grafik işlemcisi olarak TensorFlow, sadece derin öğrenmeyi değil, herhangi bir türevlenebilir hesaplamayı mümkün kıldı. Esnek Python arayüzü, otomatik türev alma ve birinci sınıf optimizatörler ML geliştirmeyi devrimleştirdi. Google'ın stratejisi: Topluluk tabanlı geliştirme herkes için YZ ilerlemesini hızlandırır. Google Brain ekibinden 30'dan fazla yazarla geliştirilen TensorFlow, önde gelen ML platformlarından biri oldu.
ResNet: Artık ağlar derin öğrenmeyi dönüştürüyor
Çok derin ağlardaki bozunma sorununun çözümü ve ultra derin ağların doğuşu. 10 Aralık 2015'te Kaiming He'nin Microsoft Research'teki ekibi 'Derin Artık Öğrenme ve Görüntü Tanıma' (Deep Residual Learning for Image Recognition) başlıklı makaleyi yayımladı ve derin öğrenmeyi önemli ölçüde dönüştürdü. O zamana kadar, ağları daha da derinleştirdikçe eğitim doğruluğu düşüyordu - birincil neden kaybolan gradyanlar değil, derin ağların basitçe optimize edilmesinin daha güç olmasıydı. ResNet, artık bağlantıları (Residual Connections) - girdileri doğrudan sonraki katmanlara ileten atlama bağlantılarını - devreye soktu ve ultra derin ağların eğitimini mümkün kıldı. 152 katmanlı ResNet, VGG'den sekiz kat daha derindi; ancak daha az karmaşıktı. Dikkat çekici sonuç: Model topluluğunun ImageNet'te yüzde 3,57 Top-5 hata oranı - tüm kategorilerde hakimiyet kuran bir başarı. ResNet, 2015 yılında ImageNet Sınıflandırma, Tespit, Konumlandırma ile COCO Tespit ve Segmentasyon ödüllerini kazandı. Artık Öğrenme (Residual Learning) çerçevesi, katmanları referanssız işlevler yerine artık işlevler öğrenmek olarak yeniden formüle etti. Bu yenilik, yüzlerce katmana sahip ağların eğitimini mümkün kıldı.
OpenAI kuruldu
YZ'yi herkes için erişilebilir kılmak isteyen ve dünyayı dönüştüren kuruluş. 11 Aralık 2015'te Sam Altman, Elon Musk ve diğer tanınmış teknoloji isimleri OpenAI'ın kuruluşunu duyurdu. Başlangıçta yalnızca küçük bir kısmının gerçekten aktarıldığı, birkaç yıla yayılmış bir finansman taahhüdü olan 1 milyar dolar vadiyle ve tüm insanlığa yarar sağlayan güvenli genel YZ geliştirme hedefiyle OpenAI, kâr amacı gütmeyen bir araştırma kuruluşu olarak sahneye çıktı. İdealist bir girişim olarak başlayan bu süreç, dünyanın en etkili YZ laboratuvarına dönüştü. 2019'da kâr amaçlı bir bağlı kuruluş kuruldu. GPT-3 ve ChatGPT ile OpenAI, YZ'nin neler başarabileceğini yeniden tanımladı.
AlphaGo Lee Sedol'u Yendi
YZ'nin ilk kez en karmaşık masa oyununda bir dünya şampiyonunu yendiği tarihi an. 9-15 Mart 2016'da Seul'de DeepMind Challenge Maçı gerçekleşti – dünyanın en iyi Go oyuncularından Lee Sedol ile AlphaGo arasında beş parti. Sonuç dünyayı şaşırttı: Makine için 4:1.
XGBoost: Extreme Gradient Boosting ML'yi Domine Ediyor
Gradient Boosting'in mükemmelleştirilmesi ve yapılandırılmış veri problemlerinin fethi. 9 Mart 2016'da Tianqi Chen ve Carlos Guestrin, arXiv'de Ağustos 2016'da KDD konferansında sunulan 'XGBoost: A Scalable Tree Boosting System' makalesini yayınladı. Chen'in University of Washington'daki doktora projesinden geliştirilen XGBoost, geleneksel Gradient Boosting'i aşırı optimizasyonlarla önemli ölçüde iyileştirdi: L1 ve L2 düzenlileştirme aşırı uyumu önledi, İkinci Derece Gradyanlar daha hassas yön bilgisi sağladı ve Paralelleştirme Ağaç Yapımını önemli ölçüde hızlandırdı. XGBoost, 2010'ların Makine Öğrenimi yarışmalarına hakim oldu ve Kaggle'da kazanan takımlar için standart tercih haline geldi. Higgs Boson ML Challenge'da Tianqi Chen özel bir ödül kazandı ve XGBoost, yapılandırılmış verilerdeki hakimiyetini kuran birçok üst düzey katılımcı tarafından kullanıldı.
Google Asistan: 'YZ Önce' stratejisi gerçeğe dönüşüyor
Sundar Pichai, 18 Mayıs 2016'da Google I/O'da Google Asistan'ı tanıttı — Google'ın Siri ve Alexa'ya yanıtı. Google, sesli asistan alanındaki yıllarca süren gecikmesinin ardından tam güçle yetişmeye çalıştı. Asistan, Google Now'un bir yükseltmesinden ibaret değildi; Pichai'nin 'YZ Önce' stratejisinin temeliydi. Pichai şunu açıkladı: 'Kullanıcıların Google ile sürekli bir diyalog kurmasını istiyoruz. Her kullanıcı için kişisel bir Google inşa ediyoruz.' Asistan, akıllı telefonlardan Google Home'a ve araçlara kadar tüm cihazlara yayılan bir 'ortam deneyimi' olacaktı. Komut tabanlı rakiplerinin aksine Google, doğal konuşmaya ve bağlam anlayışına odaklandı. Asistan başlangıçta yalnızca duyuruldu; ilk evi birkaç ay sonra Allo mesajlaşma uygulaması oldu; onu 2016 sonu itibarıyla Google Home hoparlörü izledi. Bu lansman, Google'ın sesli YZ geliştirme alanına ciddi girişini simgeledi ve şirketin bugünkü YZ üstünlüğünün temelini attı.
Partnership on AI: Teknoloji devleri bir araya geliyor
Sorumlu YZ geliştirme için önde gelen teknoloji şirketlerinin kurduğu önemli bir ittifak. 28 Eylül 2016'da Amazon, Facebook, Google, DeepMind, IBM ve Microsoft, 'İnsanlara ve Topluma Fayda Sağlamak İçin Yapay Zeka Ortaklığı'nı (Partnership on Artificial Intelligence to Benefit People and Society) kurdu — eski rakiplerin alışılmadık bir koalisyonu. Eric Horvitz (Microsoft Research) ve Mustafa Suleyman (DeepMind) geçici eş başkan olarak görev yaparken, Partnership başlangıçta yalnızca kurumsal üyelerden oluşan bir yönetim kurulu ile faaliyete geçti ve bunu eşit sayıda kurumsal olmayan üyeyle tamamlayacağını duyurdu. Misyon; etik, adalet, şeffaflık, veri gizliliği ve insan-YZ iş birliği konularında araştırma ve en iyi uygulamaları kapsamaktadır. Dikkat çekici olan: Apple başlangıçta yoktu, ancak 2017'de katıldı. Partnership bilinçli olarak lobi faaliyetlerinden kaçınarak araştırma iş birliğine odaklanmaktadır. Bu girişim, YZ geliştirmede yapılandırılmış endüstri öz düzenlemesinin başlangıcını simgelemektedir.
Konuşma tanıma insan düzeyine ulaştı
18 Ekim 2016'da Microsoft tarihi bir başarıya imza attı: Konuşma tanıma sistemi, konuşma dili için Switchboard karşılaştırma ölçütünde insan düzeyinde performansa ulaşan ilk şirket oldu. 25 yıllık araştırmanın ardından hedef gerçekleşmişti - %5,9 kelime hata oranı, bu görevde profesyonel transkripsiyon uzmanları kadar iyi. (2017'de Microsoft insan karşılaştırma oranını %5,1 olarak düzeltti ve yeniden bu seviyeye ulaşmak zorunda kaldı.) Microsoft'un Baş Konuşma Bilimcisi Xuedong Huang, 'İnsan paritesine ulaştık. Bu tarihi bir başarıdır' diye duyurdu. Sistem en yeni Derin Öğrenme teknolojisini kullandı: Evrişimli sinir ağları, LSTM mimarileri ve sürekli kelime vektörleri içeren sinirsel dil modelleri. Güç, kanıtlanmış yapı taşlarının sistematik kombinasyonunda yatıyordu - CNN ve BLSTM akustik modellerinin bir araya getirilmesi, i-vector konuşmacı uyarlaması ve dil modeliyle yeniden puanlama. Bu, üç gelişmenin yakınsamasıyla mümkün oldu: büyük veri kümeleri (Switchboard Corpus), GPU hesaplama ve geliştirilmiş eğitim yöntemleri. Bu başarı modern sesli asistanların önünü açtı - ancak yalnızca dar kapsamlı bir transkripsiyon görevinde pariteyi kanıtladığını, genel insan bilişsel yeteneklerini değil, belirtmek gerekir.
Asilomar ilkeleri: Uzmanlar kendilerine rehber çizer
2017'nin başında, ChatGPT'den çok önce, önde gelen YZ araştırmacıları Asilomar'da bir araya geldi — Californiya kıyısında, 1975'te biyologların genetik mühendisliğin risklerini tartıştığı aynı yerde. Future of Life Institute, yararlı YZ üzerine düzenlenen konferansa ev sahipliği yaptı. Sonuç, 23 Asilomar YZ İlkesi oldu: araştırma, güvenlik ve şeffaflık gibi değerler ile uzun vadeli riskler üzerine kılavuzlar. Bin'den fazla YZ uzmanı ve Stephen Hawking ile Elon Musk gibi tanınmış imzacılar bu ilkelerin arkasında yer aldı. Hükümetlerin konuyu keşfetmesinden yıllar önce, uzman çevrelerin kendilerine rehber çizmesine yönelik ilk kapsamlı girişimlerden biriydi. Dürüst bir değerlendirme yapacak olursak: İlkeler gönüllü ve bağlayıcı değildi. Tartışmayı şekillendirdiler, ancak yasal bir güce sahip değillerdi.
MobileNet - Akıllı telefonlar için YZ
Google Research, Nisan 2017'de MobileNet ile mobil YZ alanını önemli ölçüde dönüştürdü. MobileNet, akıllı telefonlar, IoT cihazlar ve gömülü sistemler için özel olarak tasarlanmış ilk derin öğrenme modellerinden biridir (SqueezeNet gibi öncüller zaten mevcuttu). Yenilikçi Depthwise Separable Convolution (Derinlik Ayrıştırılmış Evrişim) mimarisi sayesinde MobileNet, geleneksel evrişimlerin yaklaşık sekizde birine kadar hesaplama yükünü azaltır. Bu dikkat çekici verimlilik - 3x3 çekirdeklerde yaklaşık dokuz kat daha az hesaplama işlemi - mobil cihazlarda gerçek zamanlı görüntü işlemenin önünü açar. MobileNet, bilgisayarla görmeyi milyarlarca akıllı telefon için erişilebilir kılar ve bulut tabanlı çözümlerin ötesinde yeni bir YZ paradigması olarak Edge Computing'i yerleştirir.
RLHF Araştırma Makalesi Yayınlandı
ChatGPT'yi mümkün kılan teknik - atılımdan yıllar önce. Haziran 2017'de OpenAI ve DeepMind araştırmacıları 'Deep Reinforcement Learning from Human Preferences' makalesini yayınladı. Fikir: YZ sistemlerini mükemmel tanımlanmış ödül fonksiyonlarıyla eğitmek yerine, doğrudan insan geri bildiriminden öğrenirler. İnsanlar çeşitli YZ çıktılarını değerlendirir ve sistem hangi davranışın tercih edildiğini öğrenir. Daha sonra RLHF (İnsan Geri Bildiriminden Pekiştirmeli Öğrenme) olarak bilinen bu yöntem, ChatGPT ve diğer modern dil modellerinin arkasındaki anahtar teknoloji oldu. RLHF, YZ sistemlerini daha yardımcı, dürüst ve güvenli kılmayı mümkün kıldı.
Transformer: 'Attention Is All You Need'
12 Haziran 2017'de çoğunluğu Google'dan, biri University of Toronto'dan stajyer olmak üzere sekiz araştırmacı, arXiv'de 'Attention Is All You Need' makalesini yayımladı - bu makale modern Büyük Dil Modellerinin (LLM) temelini oluşturmaktadır. Ashish Vaswani, Noam Shazeer ve meslektaşları yeni bir mimari önerdi: Transformer. O zamana kadarki dizi modellerinin aksine, Transformer yinelemeli (rekürrent) ve evrişimli katmanlara yer vermez. Bunun yerine yalnızca dikkat (Attention) mekanizmalarını kullanır. Öz-dikkat (Self-Attention), bir dizideki tüm konumlar arasındaki ilişkileri paralel olarak yakalar; artık sıralı işleme gerekmiyor. Çok Başlı Dikkat (Multi-Head Attention), kelime ilişkilerinin farklı yönlerini öğrenen birden fazla paralel dikkat başı kullanır. WMT 2014'te model, İngilizce-Almanca için 28,4 BLEU ve İngilizce-Fransızca için 41,8 BLEU elde etti - yeni rekorlar. Mimari kapsamlı etkisini kanıtladı: GPT, BERT, ChatGPT ve daha pek çok model Transformer varyantlarını temel alır. 100.000'i aşkın atıfıyla - sayısı sürekli artan - bu makale 21. yüzyılın en çok alıntılanan çalışmaları arasına girdi.
Çin'in YZ Ana Planı: Dünya liderliği yarışı
20 Temmuz 2017'de Çin Devlet Konseyi 'Yeni Nesil Yapay Zeka Geliştirme Planı'nı duyurdu - bu büyüklükte ilk kapsamlı ulusal YZ stratejisiydi. Hedef: 2030'a kadar dünya genelinde önde gelen YZ gücü olmak. Üç aşamalı plan son derece netti: 2020'de küresel rekabet gücü, 2025'te bazı alt alanlarda dünya lideri düzeyi ve YZ temel teorisinde büyük atılımlar, 2030'da ise 1 trilyon Yuan sanayi çıktısıyla önde gelen YZ süper gücü olmak. Çin, YZ'yi açıkça 'uluslararası rekabetin odağı' ve 'ulusal güvenlik için stratejik bir teknoloji' olarak tanımladı. Yatırımlar ciddi boyutlara ulaştı - araştırma, altyapı ve yetenek geliştirmeye onlarca milyar dolar aktarıldı. Plan, özerk silahlardan akıllı şehirlere kadar askeri ve sivil uygulamaları kapsıyor. Açık kaynak ilkelerinin uluslararası işbirliğini teşvik etmesi planlanırken Çin aynı zamanda teknolojik bağımsızlığı hedefledi. Bu strateji küresel YZ ortamını önemli ölçüde değiştirdi ve ABD ile Avrupa'da ulusal YZ girişimlerinin başlatılmasını tetikledi.
Sorumlu YZ için Montreal Deklarasyonu
Demokratik vatandaş katılımıyla etik YZ ilkelerini oluşturan ilk uluslararası girişim. 3 Kasım 2017'de Université de Montréal, sorumlu YZ gelişimi için Montreal Deklarasyonu'nun ortak hazırlık sürecini başlattı. Toplumsal açıdan sorumlu YZ gelişimi forumu, farklı sektörlerden ve disiplinlerden 400'den fazla katılımcıyı bir araya getirdi. Üç ay boyunca 15 müzakere çalıştayında 500'den fazla vatandaş, uzman ve paydaş, YZ'nin toplumsal zorluklarını tartıştı. 4 Aralık 2018'de yayımlanan deklarasyon, refah, özerklik, adalet, mahremiyet ve demokrasi gibi değerlere dayanan 10 ilke ve 59 tavsiye sunar. 500'den fazla imzacıyla Montreal Deklarasyonu, YZ yönetimi için katılımcı bir yaklaşım yerleştirdi ve sonraki uluslararası sorumlu YZ geliştirme çabalarını etkiledi.
AlphaZero Üç Oyuna Hakim Oldu
Tamamen kendi kendine öğrenme yoluyla evrensel bir oyun YZ'sinin doğuşu. Aralık 2017'de DeepMind, AlphaZero'yu tanıttı; bu sistem herhangi bir ön bilgi olmaksızın birbirinden tamamen farklı üç strateji oyununu ustalıkla öğrendi: satranç, shogi ve go. Tabula rasa yaklaşımı şu anlama geliyordu: Açılış veri tabanı yok, insan stratejisi yok, sadece oyun kuralları başlangıç noktası olarak. 24 saat içinde AlphaZero insanüstü performansa ulaştı - satrançta yalnızca 4 saatte, shogide 2 saatte. Stockfish'e karşı 100 maçlık karşılaşmada 28 maç kazandı, hiç kaybetmedi ve 72 beraberlik elde etti. Özgünlüğü verimli arama davranışındaydı: Stockfish saniyede 60 milyon pozisyon değerlendirirken AlphaZero yalnızca 60.000 pozisyon analiz etti - ancak Derin Sinir Ağı (Deep Neural Network) sayesinde çok daha hedefli biçimde. Bu başarı, saf pekiştirmeli öğrenmenin (Reinforcement Learning) genellenebilirliğini ve alana bağımsızlığını etkileyici biçimde ortaya koydu.
Derin Öğrenme için Turing Ödülü
2019'da YZ, bilişimin en yüksek ödülünü aldı: A.M. Turing Ödülü 2018 — çoğu zaman bilişimin Nobel Ödülü olarak anılan bu ödül — Derin Öğrenmenin üç tanrıbabası Yoshua Bengio, Geoffrey Hinton ve Yann LeCun'e verildi. ACM, geri yayılımdan evrişimli ağlara ve 2012 atılımını taşıyan fikirlere kadar derin sinir ağlarını bilişimin merkezi bir yapı taşı haline getiren kavramsal ve teknik katkılarını onurlandırdı. Bu ödül, on yıllarca alay konusu olan bir devrimin geç, resmi tesciliydi. Doğru bir değerlendirme için: Derin Öğrenmenin pek çok babası ve annesi vardır — Jürgen Schmidhuber gibi araştırmacılar, önemli katkıların yeterince takdir görmediğini kamuoyu önünde eleştirdi. Ödül, üçlünün merkezi rolünü onurlandırmaktadır, münhasır bir yaratıcılığı değil.
GDPR: YZ etkisiyle veri koruma dönüm noktası
25 Mayıs 2018'de AB Genel Veri Koruma Yönetmeliği (GDPR/DSGVO) yürürlüğe girdi — YZ ve veri koruma açısından dünya genelinde bir dönüm noktası. 'Tüm veri koruma yasalarının anası' olarak adlandırılan GDPR, internet'in taş devrine ait 1995 tarihli 95/46/EG sayılı direktifin yerini aldı. GDPR, 'Tasarım Gereği Gizlilik' (Privacy by Design) ilkesini zorunlu kıldı: Veri koruma, YZ sistemlerine baştan itibaren entegre edilmek zorunda. Küresel kapsam etkisi geniş çaplı oldu — Avrupalı verileri işleyen ABD'li teknoloji devleri de AB standartlarına uymak zorunda kaldı. YZ açısından bu durum temel bir meydan okuma yarattı: GDPR şeffaflık talep ederken 'kara kutu' algoritmalar nasıl açıklanacak? Gözlemciler, YZ'nin daha veri tasarruflu geliştirilmesine yönelik bir teşvik gördü ve Transfer Learning gibi yöntemler önem kazandı. GDPR, Kaliforniya'dan Singapur'a kadar dünya genelinde veri koruma yasalarına ilham verdi. Bu düzenleme, 2024 tarihli AB YZ Yasası'nın zeminini hazırladı — veri korumadan YZ düzenlemesine geçiş mantıksal bir adımdı.
GPT-1: Üretici Ön Eğitim'in doğuşu
Tüm modern Büyük Dil Modellerinin temelini oluşturan denetimsiz ön eğitim. 11 Haziran 2018'de Alec Radford, OpenAI ekibiyle birlikte çığır açan 'Improving Language Understanding by Generative Pre-Training' makalesini yayımladı. Bu çalışma Transformer mimarisini denetimsiz ön eğitimle ilk kez bir araya getirerek iki aşamalı paradigmayı yerleştirdi: önce büyük metin derlemleri üzerinde üretici eğitim, ardından belirli görevler için ince ayar. 117 milyon parametre ve farklı türlerden 7.000'den fazla yayımlanmamış kitaptan oluşan BooksCorpus veri kümesiyle eğitilen GPT-1, Transfer Learning'in dil anlama için işe yaradığını kanıtladı. Maskeli öz dikkat mekanizmasına sahip on iki katmanlı yalnızca çözücü Transformer mimarisi, tüm GPT serisi için şablon oluşturdu. Bu buluş, 2017'deki Transformer mimarisini çeşitli Doğal Dil İşleme görevleri için uygulanabilir bir araca dönüştürdü ve Büyük Dil Modelleri çağını başlattı.
BERT Dil Anlayışını Önemli Ölçüde Geliştirdi
Çift yönlü dil modellerinde önemli bir ilerleme ve modern NLP'nin doğuşu. Ekim 2018'de Jacob Devlin ve Google Research'teki ekibi, BERT - Transformer'lardan Çift Yönlü Kodlayıcı Temsilleri (Bidirectional Encoder Representations from Transformers) makalesini yayımladı. Bu yenilik, etiketlenmemiş metinlerden ilk kez derin çift yönlü temsiller eğiterek dil işlemeyi önemli ölçüde değiştirdi. Önceki modellerden farklı olarak BERT, tüm katmanlarda hem sol hem de sağ bağlamı aynı anda göz önünde bulundurdu. Sonuç dikkat çekiciydi: BERT, on bir NLP görevinde yeni en iyi değerlere ulaştı ve GLUE puanını kayda değer biçimde 7,7 puan artırarak 80,5%'e çıkardı. Gerçek ön-eğitim (pre-training) birçok TPU'da birkaç günü aldı - ancak açık kaynak yayını zirve teknolojiyi demokratikleştirdi: Hazır ön-eğitimli model, tek bir bulut TPU'sunda yaklaşık 30 dakikada kendi görevine ince ayarlanabiliyordu (Fine-Tuning). BERT, günümüzde tüm büyük dil modellerinin temelini oluşturan Ön-Eğitim-İnce Ayar (Pre-Training-Fine-Tuning) paradigmasını yerleştirdi.
GPT-2 - "Yayınlamak İçin Çok Tehlikeli"
OpenAI, Şubat 2019'da GPT-2'yi yayınladı ancak şaşırtıcı bir şekilde tam 1,5 milyar parametreli modeli geri tutmaya karar verdi - iddiaya göre tam yayın için 'çok tehlikeli'. Bu benzeri görülmemiş karar YZ topluluğunu ikiye böldü: Destekçiler, sahte haberler ve otomatik spam gibi kötüye kullanım riskleri karşısında sorumlu tutumu övdü. Eleştirmenler, OpenAI'ı araştırmayı 'kapatmak' ve asılsız korkular yaratmakla suçladı. Güçlü kötüye kullanım kanıtı olmadan dokuz ay sonra OpenAI tam modeli yayınladı ve sorumlu YZ geliştirme tartışmasında bir dönüm noktası olarak işaretledi.
AlphaStar Grandmaster Seviyesine Ulaştı
En karmaşık gerçek zamanlı strateji oyununun yapay zeka tarafından fethi. DeepMind'ın AlphaStarı, Temmuz ve Ağustos 2019'da Battle.net'te anonim olarak sıralama modunda oynadı; 30 Ekim 2019'da DeepMind, Nature dergisinde sistemin StarCraft II'de Grandmaster seviyesine ulaşan ilk YZ olduğunu bildirdi - bu oyun, makineler için çok karmaşık kabul ediliyordu. AlphaStar, tüm aktif Battle.net oyuncularının 99,8%'inin üzerinde sıralandı ve üç ırkı da hakim oldu: Protoss, Terran ve Zerg. Daha önce AlphaStar, profesyonel oyuncular Grzegorz 'MaNa' Komincz ve Dario 'TLO' Wünsch'ü her birini 5:0 yenmişti. Özgünlüğü, bir ligde çeşitli stratejiler ve karşı stratejiler eğiten Çok Etkenli Pekiştirmeli Öğrenme (Multi-Agent Reinforcement Learning) mimarisindeydi. Dakikada ortalama 280 işlemle AlphaStar, insan profesyonellerin bile altında kalıyordu ancak daha kesin bir uygulama sergiledi. Bu başarı, video oyunlarında ve gerçek zamanlı kararlarda YZ için önemli bir dönüm noktası oldu.
T5 - Text-to-Text Transfer Transformer
Google AI, Ekim 2019'da T5 ile NLP'yi önemli ölçüde değiştirdi - tüm dil işleme görevlerini birleşik "metin-metin" formatına dönüştüren Text-to-Text Transfer Transformer. Yenilikçi "Her Şey Metindir" yaklaşımıyla, çeviri, özetleme, soru yanıtlama ve sınıflandırma aynı model, aynı kayıp fonksiyonu ve aynı hiperparametrelerle ele alınabilir. T5, kapsamlı C4 veri setini tanıttı ve SuperGLUE kıyaslamalarında neredeyse insan seviyesi performansa ulaştı. 11 milyar parametreye kadar bir Foundation Model olarak T5, modern Büyük Dil Modelleri için yol açtı ve birleşik metin-metin paradigmasını standart olarak oluşturdu.
RAG: Dil modelleri önce araştırır
Bir dil modeli yalnızca eğitiminde yer alan bilgileri bilir — kuşkulu durumlarda ise özgüvenle bir şeyler uydurur. 2020'de Facebook AI'dan Patrick Lewis ve meslektaşları bir çıkış yolu gösterdi: Retrieval-Augmented Generation, kısaca RAG. Fikir çarpıcı biçimde basit. Model yanıt vermeden önce, Wikipedia gibi harici bir bilgi kaynağında uygun metin parçaları arar ve ardından yanıtını bulduğuna dayandırır. Böylece model yeniden eğitilmeden bilgi güncellenebilir ve yanıt kanıtlanabilir hale gelir. ChatGPT'nin başarısının ardından RAG, dil modellerini güncel ve doğrulanabilir kaynaklara bağlamanın standart yöntemi haline geldi — neredeyse kendi belgelerinizle sohbet etmeye yarayan tüm uygulamaların temelini oluşturdu. Doğru bir değerlendirme için: RAG halüsinasyonları azaltır, ancak ortadan kaldırmaz. Aranan bilgi yanlışsa ya da model bulguyu yanlış anlarsa hata yapmaya devam eder. Belge sunar, gerçek anlayış değil — ve daha önceki bilgi erişimi araştırmalarının üzerine inşa edilmiştir.
Sinirsel ölçeklendirme yasaları
Jared Kaplan, Sam McCandlish, Tom Brown ve Dario Amodei, Ocak 2020'de sinirsel ölçeklendirmenin temel matematiksel yasalarını keşfederek büyük dil modellerinin gelişimini önemli ölçüde dönüştürdü. OpenAI ve Johns Hopkins Üniversitesi'nden bu çığır açan çalışma, performansın model boyutu, veri kümesi büyüklüğü ve hesaplama gücüyle yedi büyüklük mertebesinde üs yasalarına (Potenzgesetze) göre davrandığını ortaya koydu. Bu zarif denklemler, ilk kez kaynak dağılımının sistematik biçimde tahmin edilmesini mümkün kıldı ve 'Büyük olan daha iyidir' (Bigger is Better) paradigmasını yerleştirdi. Bu matematiksel temeller doğrudan GPT-3'ün başarısına zemin hazırladı ve YZ geliştirmeyi deneme-yanılma yönteminden bilimsel temelli, öngörülebilir bir ölçeklendirme anlayışına dönüştürdü. Kaplan'ın somut dağılım kuralı - model boyutunu güçlü biçimde artırırken veri miktarını yavaş artır - 2022'de DeepMind'ın Chinchilla çalışmasıyla düzeltildi: hesaplama açısından optimal eğitim, başlangıçta önerilenden çok daha fazla eğitim verisi gerektirmektedir.
GPT-3: 175 milyar parametreli model
Az örnekli öğrenmeye ve ortaya çıkan YZ yeteneklerine giden atılım. 28 Mayıs 2020'de Tom Brown liderliğindeki OpenAI ekibi, GPT-2'den 100 kattan fazla büyük olan 175 milyar parametreli GPT-3'ü konu alan önemli 'Language Models are Few-Shot Learners' makalesini sundu. Bu ölçekleme, ortaya çıkan yetenekleri gün yüzüne çıkardı: Model, ince ayar yapmaksızın yalnızca birkaç örnekle yeni görevleri çözebiliyordu. Çeviriden sözcük bulmacalarına, üç basamaklı aritmetiğe kadar GPT-3 etkileyici bir çok yönlülük sergiledi. İnsan değerlendiriciler, GPT-3'ün ürettiği haber makalelerini gerçek makalelerden ayırt etmekte zorlandı. Yalnızca bağlam içi öğrenme (In-Context Learning) yoluyla GPT-3, belirli SuperGLUE alt görevlerinde en ileri seviyeye yaklaştı; ancak genel kıyaslama testinde yaklaşık 71,8 puanla ince ayarlı en iyi modellerin (yaklaşık 89) belirgin biçimde gerisinde kaldı. 31 OpenAI araştırmacısı (Tom Brown ve 30 ortak yazar) şunu kanıtladı: Büyük ölçekli parametre artışı niteliksel olarak yeni yetenekler ortaya çıkarabilir. GPT-3, ChatGPT'nin ve modern Büyük Dil Modelleri çağının temelini attı.
DDPM: Difüzyon Modelleri Yerleşti
Modern görüntü üretiminin matematiksel temeli: gürültü giderme süreçleri. Haziran 2020'de Jonathan Ho, Ajay Jain ve Pieter Abbeel, etkili makale 'Denoising Diffusion Probabilistic Models'ı yayınladı - denge dışı termodinamikten esinlenen gizli değişken modelleri sınıfı. Yenilikleri ağırlıklı varyasyonel sınır ve difüzyon modelleri ile Langevin dinamikli gürültü giderme skor eşleştirmesi arasındaki bağlantıdaydı. Sonuçlar etkileyiciydi: CIFAR-10'da 3,17 FID skoru ve 9,46 Inception skoru. DDPM'ler, otoregresif kod çözmenin genelleştirmesi olarak yorumlanabilecek progresif kayıplı sıkıştırma açma yaklaşımı kurdu. Bu çalışma Stable Diffusion ve tüm modern metinden görüntüye üretim için matematiksel temeli attı.
Vision Transformer: 'An Image is Worth 16x16 Words'
Bilgisayarla görmede Transformer mimarisi. 22 Ekim 2020'de Alexey Dosovitskiy'nin Google Research ekibi 'An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale' adlı makaleyi yayımladı. Vision Transformer (ViT), CNN'lerin zorunlu olmadığını gösterdi - salt Transformer'lar doğrudan görüntü yama dizilerine uygulanabilir. Temel bulgu ('at Scale'): Ancak büyük ölçekli ön eğitimden sonra devasa veri kümeleri üzerinde (ImageNet-21k veya JFT-300M) ViT, son teknoloji CNN'lerle karşılaştırılabilir veya daha iyi sonuçlar elde ediyor; bu ön eğitim olmaksızın orta büyüklükteki veri kümelerinde ViT daha zayıf kalıyor. Sistem görüntüleri yamalara - tipik olarak 16x16 piksel, ancak varianta göre farklı boyutlarda - ayırıyor, onları jeton dizileri olarak işliyor ve standart Transformer mimarisini uyguluyor. Transformer mimarisinin evrenselliğini açıkça ortaya koydu: Doğal dil işlemesini değiştiren aynı teknoloji bilgisayarla görmede de işliyor. ViT, dikkat mekanizmasına dayalı yeni nesil görsel modellere ilham verdi ve birleşik mimarilerin gücünü gösterdi.
AlphaFold Başarısı
50 yıllık biyolojik bir bulmacayı yapay zeka ile çözme. Kasım 2020'de DeepMind'ın AlphaFold 2'si CASP14 yarışmasına 'şaşırtıcı' ve 'dönüştürücü' olarak nitelendirilen bir doğrulukla hakim oldu. Sistem, protein yapı tahmininde 100 üzerinden 92,4 GDT-Skoru elde etti.
CLIP: Görüntü ve dil arasındaki köprü
OpenAI'ın DALL-E'yi tanıttığı günün aynısında — 5 Ocak 2021 — belki de daha etkili olan model yayımlandı: CLIP. Bu model görüntü üretmeyi değil, görüntü ve dili aynı uzayda anlamayı öğrendi. Alec Radford liderliğindeki ekip, web'den derlenen yaklaşık 400 milyon görüntü-metin çiftini kullanarak iki encoder'ı karşıt biçimde (kontrastif olarak) eğitti; sonunda birbirine ait görüntüler ve altyazılar ortak bir vektör uzayında aynı noktada buluştu. Etki şaşırtıcıydı: CLIP görüntüleri sıfır örnekle (zero-shot) sınıflandırabiliyordu — kategoriler yalnızca sözcüklerle tanımlanıyor, göreve özgü eğitim gerektirmiyordu. Bu yolla ImageNet'te %76,2 doğruluğa ulaştı; bu sonuç, 1,28 milyon etiketli örnekle eğitilmiş bir ResNet-50 ile aynı düzeydeydi — CLIP bunların hiçbirini görmemişti. Genel tabloda belirleyici olan: CLIP, metin-görüntü dalgasının temeli oldu — DALL-E 2 CLIP gömülerine dayanmakta, Stable Diffusion ise CLIP'in metin encoder'ını doğrudan kullanmaktadır. Bir not: Kontrastif görüntü-metin modelleri yeni değildi (ConVIRT aylarca önce gelmişti) — CLIP'in katkısı ölçek, sıfır-örnek genişliği ve tüm bir ekosistemi tetikleyen açık ağırlıklardı.
DALL-E metinden görsel üretiyor
Metinden görsel üretime yönelik önemli bir atılım ve YZ yaratıcılığında kayda değer bir ilerleme. OpenAI, 5 Ocak 2021'de DALL-E'yi tanıttı - metin açıklamalarından tutarlı ve çoğu zaman şaşırtıcı derecede yaratıcı görseller üreten bir sistem. Daha önce de metin-görsel modeller mevcuttu (örneğin 2015'te alignDRAW veya StackGAN ve AttnGAN gibi GAN tabanlı yaklaşımlar); ancak DALL-E tutarlılığı ve çok yönlülüğü yeni bir düzeye taşıdı. GPT-3'ün 12 milyar parametrelik bir versiyonuna dayanan DALL-E, dil ile görsel anlayış arasındaki sınırın aşılabileceğini kanıtladı. Sistem, internetten derlenen 250 milyon görsel-metin çiftiyle eğitildi ve bu süreçte dikkat çekici yetenekler geliştirdi: hayvanları insanlaştırabiliyor, birbirsiz kavramları makul biçimde birleştirebiliyor, hatta metni görsele dönüştürebiliyor. Georgia Tech'ten Mark Riedl, sonuçların daha önceki tüm metin-görsel sistemlerden 'çok daha tutarlı' olduğunu söyledi. DALL-E, GPT'nin dil anlayışını görsele başarıyla taşıdı ve YZ yaratıcılığında tamamen yeni bir boyut açtı.
Anthropic Kuruldu
Eski OpenAI yöneticilerinin güvenli YZ konusundaki kendi vizyonlarını hayata geçirmek istemeleriyle yaşanan gelişme. Ocak 2021'de Dario ve Daniela Amodei, Tom Brown, Jared Kaplan ve Chris Olah dahil beş eski OpenAI araştırmacısıyla birlikte Anthropic'i kurdu; toplamda yedi kurucu ortak. Kardeşler daha önce OpenAI'da kilit pozisyonlar üstlenmişti - Dario, Araştırma Başkan Yardımcısı olarak görev yapmıştı. Yeni şirketleri, YZ güvenliğine ve güvenilir, yorumlanabilir sistemlerin geliştirilmesine odaklanacaktı. Anthropic, Constitutional AI (Anayasal YZ) ile YZ sistemlerini yalnızca insan geri bildirimiyle değil, ilkeler aracılığıyla eğitmek için yenilikçi bir yaklaşım geliştirdi. YZ asistanları Claude, ChatGPT'nin önde gelen rakiplerinden biri haline geldi.
GitHub Copilot: YZ Eşli Programcı
Milyonlarca geliştirici için YZ destekli yazılım geliştirmenin demokratikleşmesi. 29 Haziran 2021'de GitHub, Copilot'un Teknik Önizlemesini duyurdu - OpenAI Codex tarafından desteklenen ilk YZ eşli programcı. GitHub depolarından milyarlarca satır halka açık kodla eğitilmiş GPT-3 varyantına dayanan Copilot, yorumlardan kod tamamlamaları ve tam fonksiyonlar üretebiliyordu. Temel Codex modeli, HumanEval kıyaslamasında ilk denemede %28,8 başarı oranı elde etti - GPT-3'ün %0'ına kıyasla çok daha iyi. Özellikle etkileyici olan: 100 örnekleme denemesiyle başarı oranı %70,2'ye çıktı. Copilot özellikle Python, JavaScript, TypeScript, Ruby ve Go ile iyi çalışıyordu. Sınırlı Teknik Önizleme büyük ilgi yarattı ve YZ destekli programlamayı pratik bir araç olarak belirledi. Copilot, geliştirici deneyimini temelden değiştirdi ve yeni nesil YZ destekli kodlama araçlarının yolunu açtı.
OpenAI Codex: YZ insanlar için kod yazıyor
OpenAI, 10 Ağustos 2021'de Codex'i bir API aracılığıyla kullanıma sunarak yazılım geliştirmeyi önemli ölçüde dönüştürdü - doğal dili çalışan koda dönüştüren büyük ölçekli bir YZ. GPT-3 temel alınarak 54 milyon GitHub deposundan elde edilen 159 gigabayt Python koduyla eğitilen Codex, doğal dili işlevsel koda çeviriyordu. 'Asal sayılar için bir fonksiyon oluştur' cümlesi saniyeler içinde gerçek Python koduna dönüşüyordu. Daha önce, 29 Haziran 2021'de GitHub ile kurulan ortaklıktan Copilot'un Teknik Önizlemesi (Technical Preview) doğmuştu; bu YZ programlama asistanı erken bir Codex sürümü üzerinde çalışıyordu. Codex, Python, JavaScript, Go, Ruby, Swift ve daha fazlası dahil düzineden fazla programlama dilini destekliyordu. HumanEval kıyaslamasında, koda ince ayar yapılmış Codex-S görevlerin yaklaşık yüzde 37'sini ilk denemede çözdü (pass@1); temel model ise yaklaşık yüzde 29'a ulaştı - etkileyici ama keyfi talepler için ölçüt değil. GitHub Copilot, geliştiriciler için anlamlı bir verimlilik artışı sağladı. Codex, YZ'nin yaratıcı ve karmaşık bilişsel çalışmayı destekleyebileceğini kanıtladı. Kod üretiminden kod anlamaya uzanan bu adımla Codex, YZ destekli yazılım geliştirmenin kapısını araladı.
InstructGPT: ChatGPT'ye uzanan köprü
Yöntem ile dünya çapındaki başarı arasında belirleyici bir ara adım yer alıyordu — ve bu adımın adı InstructGPT'ydi. 2022 yılının başında OpenAI, 'Training language models to follow instructions with human feedback' başlıklı makalesinde, GPT-3'ü kullanıcıların gerçekten istediğini yapacak şekilde nasıl yönlendireceğini gösterdi: İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF — Reinforcement Learning from Human Feedback) yoluyla. Şaşırtıcı sonuç şuydu: Yalnızca 1,3 milyar parametreli bir InstructGPT, yüz kat daha büyük GPT-3'ün (175 milyar) yanıtları yerine insanlar tarafından tercih edildi. Farkı yaratan ham büyüklük değil, amaca hizalama oldu. InstructGPT, RLHF fikri (2017) ile bu yöntemi popüler kılan ChatGPT (2022 sonu) arasındaki doğrudan teknik köprüydü. Dürüst bir değerlendirme yapacak olursak: InstructGPT, RLHF'yi icat etmedi — bunu 2017'deki bir makale yaptı — ancak hizalamanın bir dil modelini büyük ölçekte ne kadar daha kullanışlı kıldığını ilk kez gösterdi.
Chinchilla: Ölçekleme yeniden düşünülüyor
2022'de DeepMind rahatsız edici bir soru sordu: YZ modellerimizi aslında yanlış mı inşa ediyoruz? Jordan Hoffmann liderliğindeki ekip, 'Training Compute-Optimal Large Language Models' başlıklı makalede, zamanın en büyük dil modellerinin — GPT-3 ve Gopher'in — çok sayıda parametreye sahip olmakla birlikte yetersiz eğitim verisiyle çalıştığını gösterdi. Artık Chinchilla ölçekleme yasaları olarak bilinen düzeltmeleri şuydu: Belirli bir hesaplama bütçesi için model boyutu ve veri miktarı yaklaşık olarak aynı adımlarla büyümelidir. Bunu kanıtlamak için 70 milyar parametreli Chinchilla'yı 1,4 trilyon token üzerinde eğittiler — ve dört kat daha büyük Gopher'i (280 milyar) geride bıraktılar. Bu durum, sonraki neredeyse tüm zirvede yer alan modellerin nasıl eğitileceğini köklü biçimde değiştirdi. Dürüst bir değerlendirme yapacak olursak: Chinchilla ölçekleme yasalarını icat etmedi, Kaplan'ın (2020) önceki yasalarını düzeltti; Llama gibi sonraki modeller, kullanım sırasında daha verimli olmak için kasıtlı olarak hesaplama-optimal oranının ötesine geçti.
PaLM: Google'in 540 milyar parametreli devi
2022'de Google, dil modellerinin ne kadar yukarı ölçeklenebileceğini gösterdi: PaLM (Pathways Language Model), 540 milyar parametreye sahipti ve Google'in Pathways sistemiyle binlerce TPU çipi üzerinde eğitildi. Etkileyici olan, salt büyüklük değil PaLM'ın bununla neler yapabildiğiydi. Modelin çözüm yolunu adım adım yazdığı Düşünce Zinciri (Chain-of-Thought) istemlerini kullanan PaLM, çok adımlı metin problemlerini çözdü ve hatta fıkraların nüktesini bile açıkladı. PaLM böylece belirli bir model büyüklüğünden itibaren birdenbire ortaya çıkan yetenekler olan ortaya çıkan yetenekler (emergent capabilities) fikrinin simgesi haline geldi. Google'in ölçekleme çağının doruk noktasıydı ve PaLM 2 ile Gemini'nin habercisiydi. Doğru bir değerlendirme için: 540 milyar parametre son derece maliyetliydi ve PaLM hiçbir zaman açık model olarak yayımlanmadı. Ortaya çıkan yetenekler tezi de tartışmalıdır — bu sıçramaların bir kısmı kısmen seçilen ölçüm yönteminin bir eseridir.
Stable Diffusion: Açık Kaynak Görüntü Üretimi
İlk güçlü açık kaynak model aracılığıyla YZ görüntü üretiminin demokratikleştirilmesi. 22 Ağustos 2022'de Stability AI, Stable Diffusion'ı yayınladı ve gelişmiş metinden görüntüye teknolojisine erişimi önemli ölçüde değiştirdi. Sınıfındaki ilk açık kaynak model olarak Stable Diffusion, tüketici GPU'larında fotorealistik 512x512 piksel görüntüler üretebiliyordu - hız ve erişilebilirlik için önemli bir ilerleme. Latent Diffusion Models'e (LDM'ler) dayanan sistem, doğrudan piksel manipülasyonu yerine latent uzaylarda 'gürültü giderme' yoluyla yineleme yapar. U-Net'te 860 milyon ve metin kodlayıcısında 123 milyon parametre ile yüksek performansa rağmen nispeten hafif kaldı. GitHub'da mevcut kaynak kodu, patlayıcı büyüyen bir topluluğun sayısız varyant ve araç geliştirmesini sağladı.
OpenAI, Whisper'i yayımladı
Konuşma tanıma nihayet güvenilir hale geldiğinde – ve herkes için erişilebilir olduğunda. 21 Eylül 2022'de OpenAI, farklı diller, aksanlar ve ortam seslerinde sağlam biçimde çalışmak üzere eğitilmiş bir konuşma tanıma sistemi olan Whisper'i yayımladı. Temiz ses verileri üzerinde eğitilmiş önceki sistemlerin aksine Whisper, internetten derlenen 680.000 saatlik çok dilli veriyi kullandı. Sonuç: 99 dilde transkripsiyon yapabilen ve ticari çözümlerle rekabet eden bir sistem. OpenAI, Whisper'i açık kaynak olarak sundu – dünya genelinde geliştiricilere bir armağan olarak sayısız uygulamanın önünü açtı.
ChatGPT YZ Kullanımında Bir Dönüm Noktası
YZ'nin herkes için erişilebilir hale geldiği ve yeni bir dönemin başladığı an. 30 Kasım 2022'de OpenAI, ChatGPT'yi ücretsiz Araştırma Önizlemesi (Research Preview) olarak yayımladı - büyük bir pazarlama olmadan, düşük beklentilerle. Ardından gelen süreç tüm tahminleri aştı: 5 günde ChatGPT bir milyon kullanıcıya ulaştı, iki ayda 100 milyona - o zamanlar bir tüketici uygulamasının kaydettiği en hızlı kullanıcı artışıydı (Temmuz 2023'te Meta'nın Threads uygulaması tarafından geçildi). GPT-3.5 tabanlı ChatGPT, ilk kez geniş bir kitleye teknik engeller olmaksızın güçlü bir YZ'ye doğrudan erişim sundu. New York Times'tan Kevin Roose bunu 'kamuoyuna sunulan en iyi YZ sohbet robotu' olarak nitelendirdi. ChatGPT, yapay zekayı demokratikleştirdi ve bir araştırma alanından günlük bir araca dönüştürdü. Bu yayın, mevcut Üretken YZ (Generative AI) dalgasının başlangıcını işaret etti.
Constitutional AI - Anayasa ile YZ güvenliği
Anthropic, Aralık 2022'de Constitutional AI (CAI) adlı yeni bir yöntemi tanıttı: zararsız, yardımcı ve dürüst YZ sistemleri geliştirmeye yönelik bir yaklaşım. Etik ilkelerden oluşan bir 'anayasa', YZ'nin zararlı içerikleri tam bu zarar değerlendirmesi için insan etiketine ihtiyaç duymadan kendi kendine eleştirmesine ve iyileştirmesine olanak tanıyor. (Bu ilkelerin BM İnsan Hakları Evrensel Beyannamesi ve diğer temel hak belgelerinde açıkça yer alması, Anthropic tarafından ancak Mayıs 2023'te 'Claude's Constitution' adlı makalede ele alındı; özgün makale pragmatik biçimde bir araya getirilmiş bir ilkeler setini kullandı.) RLAIF (Reinforcement Learning from AI Feedback - YZ Geri Bildiriminden Pekiştirmeli Öğrenme) adı verilen yenilikçi yöntem, zararsızlık için insan geri bildiriminin yalnızca bu kısmını YZ öz-eleştirisiyle karşılıyor; yardımseverlik ise insan tercih verileriyle (RLHF) eğitilmeye devam ediyor. Bu sayede CAI, ChatGPT'nin salt performans odaklı yaklaşımına karşı güvenlik öncelikli bir alternatif oluşturuyor ve sorumlu YZ geliştirmenin önünü açıyor.
NIST YZ Çerçevesi: ABD güvenilir YZ'yi tanımladı
26 Ocak 2023'te ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), ilk kapsamlı YZ Risk Yönetimi Çerçevesini (AI RMF 1.0) yayımladı - bu, küresel YZ düzenlemesine Amerika'nın yanıtıydı. Sanayi, akademi ve sivil toplumdan 240'tan fazla kuruluşun katılımıyla 18 aylık bir geliştirme sürecinin ardından NIST, güvenilir YZ için federal düzeyde standartları ilk kez tanımladı. Çerçeve dört temel işlev ortaya koyuyor: Govern (Yönet), Map (Haritalandır), Measure (Ölç), Manage (Yönet) - ve güvenilir YZ'nin yedi özelliği: güvenli, dayanıklı, açıklanabilir, gizlilik dostu, adil, şeffaf ve güvenilir. Gönüllü bir standart olarak bireyler, kuruluşlar ve toplum için YZ risklerini en aza indirmeyi amaçlıyor. Yayım, Biden'ın YZ Haklar Bildirgesini (2022) izledi ve daha sonra onun YZ Yürütme Emriyle (Ekim 2023) tamamlandı. AI RMF, 2020 Ulusal YZ Girişimi Yasası'nın yasal yetkisi kapsamında oluşturuldu - NIST burada federal standartlar kurumu olarak köklü rolünü sürdürdü. Çerçeve, sektör standartları ve uluslararası koordinasyon için temel haline geldi - Çin'in devlet kontrolündeki YZ anlayışına ve Avrupa'nın düzenleyici yaklaşımına karşı bir denge unsuru.
LLaMA: Açık kaynaklı temel model
Açık araştırma modelleriyle Büyük Dil Modellerinin demokratikleşmesi. 24 Şubat 2023'te Meta AI, yalnızca kamuya açık verilerle eğitilmiş 7 milyardan 65 milyar parametreye kadar uzanan Temel Modeller topluluğu olan LLaMA'yı (Large Language Model Meta AI) yayımladı. 'LLaMA: Open and Efficient Foundation Language Models' adlı çığır açan makale, tescilli veri kümeleri olmaksızın en ileri düzey performansın elde edilebileceğini kanıtladı. LLaMA, büyük altyapıya erişimi olmayan araştırmacıların gelişmiş dil modellerini incelemesini mümkün kıldı. Çıkarım kodu GPLv3 lisansı altında yayımlanırken model erişimi akademik araştırma için münferiden verildi. Milyarlarca Token üzerinde eğitim ve farklı model boyutlarıyla LLaMA, farklı donanım gereksinimlerine yanıt verdi. Bu çalışma, açık kaynaklı Büyük Dil Modelleri araştırmalarında bir dalgalanmayı tetikledi ve açık kaynak topluluğunda çok sayıda sonraki modele ilham kaynağı oldu.
Claude YZ Asistanı Başlatıldı
Anthropic'in Constitutional AI yaklaşımıyla geliştirilen Claude, Mart 2023'te kamuya açıldı. GPT-4 ile aynı dönemde piyasaya sürülen Claude, güvenlik ve yararlılık arasında denge kurmayı hedefleyen bir YZ asistanıdır.
GPT-4: Çok modlu YZ modeli
Profesyonel ve akademik kıyaslama testlerinde insan düzeyine ulaşılan atılım. OpenAI, 14 Mart 2023'te GPT-4'ü tanıttı — metin ve görüntü girdilerini işleyerek çeşitli disiplinlerde insan düzeyine ulaşan Büyük Çok Modlu Model. İyileştirmeler önemli büyüklükteydi: GPT-3.5 bar sınavında alt yüzde 10'da kalırken GPT-4 üst yüzde 10'a yükseldi. SAT matematik testinde başarı, 70. yüzdelikten 89. yüzdeliğe çıktı. Çelişkisel test programından elde edilen bulgular ve ChatGPT geri bildirimleriyle altı aylık yinelemeli hizalama sürecinin ardından tüm Derin Öğrenme yığını yeniden inşa edildi. Çok modlu yetenekler, belgelerin, diyagramların ve ekran görüntülerinin saf metin girdileriyle aynı kalitede işlenmesini mümkün kıldı. GPT-4, YZ güvenliği ve performansı için yeni standartlar belirledi.
Midjourney V5: Fotogerçekçi YZ sanatı
Fotogerçekçi YZ görüntü üretimi yeni bir kalite düzeyine ulaştı ve yaratıcı sektörü önemli ölçüde dönüştürdü. 15 Mart 2023'te Midjourney Sürüm 5'i yayımladı ve kullanıcıların 'ürpertici' ve 'fazla mükemmel' olarak nitelendirdiği bir kalite sıçraması sağladı. Alfa sürümü, gerçek fotoğraflardan neredeyse ayırt edilemeyen fotogerçekçi görüntüler üreten ilk sürümdü. Özellikle dikkat çekici olan nokta: Hatalı ellere ilişkin kronik sorun önemli ölçüde giderildi; V5 çoğu durumda beş parmağı doğru biçimde gösterebildi. Grafik tasarımcı Julie Wieland deneyimi şöyle anlattı: 'Uzun süre görmezden gelinen zayıf görmenin ardından nihayet gözlük takmak gibi' — birdenbire her şeyi 4K kalitesinde görür hale geliyorsunuz [Kaynak: Ars Technica, Mart 2023]. Geliştirilmiş istem duyarlılığı daha hassas yaratıcı kontrol sağlarken otomatik yükseltme, ek GPU maliyeti olmaksızın 1024x1024 piksel temel görüntüleri ölçeklendirdi. V5, insan yaratıcılığının geleceğine ilişkin yoğun tartışmaları alevlendirdi.
Biden YZ Kararnamesi - İlk Kapsamlı ABD Düzenlemesi
Başkan Biden, 30 Ekim 2023'te 'yapay zekanın güvenli, korunaklı ve güvenilir gelişimi ve kullanımına' ilişkin 14110 Sayılı Cumhurbaşkanlığı Kararnamesini imzaladı - ABD'nin ilk kapsamlı YZ düzenlemesi ve 110 sayfayla tarihin en uzun Cumhurbaşkanlığı Kararnamesi. Kapsamlı kararname, güçlü YZ sistemlerini geliştirenlerı güvenlik testlerini kamuoyuyla paylaşmaya zorluyor ve NIST aracılığıyla katı Kırmızı Takım (Red-Team) standartları belirliyordu. İçerik kimlik doğrulaması ve filigran (Watermarking) aracılığıyla YZ tabanlı dolandırıcılığı önlüyor, kritik altyapı ve biyolojik tehlikelere ilişkin riskleri ele alıyordu. İmzalandığı an itibarıyla bu kararname, sorumlu YZ geliştirme konusunda küresel standartlar belirledi ve ABD'yi YZ yönetişiminde öne çıkan ülke olarak konumlandırdı. Ancak etkisi kalıcı olmadı: 20 Ocak 2025'te Başkan Trump, 14148 Sayılı Cumhurbaşkanlığı Kararnamesini imzalayarak EO 14110'u yürürsüzleştirdi - bu belge böylece 2023 düzenleyici tutumunu ortaya koymaktadır.
Durdurma mektubu ve Bletchley: YZ güvenliği küresel oluyor
2023'te, ChatGPT'nin ilk şokuyla dünya, aniden güçlü hale gelen bir teknoloji için kurallar arayışına girdi. Mart ayında Future of Life Institute'ün açık mektubundaki binlerce imzacı — aralarında Yoshua Bengio ve Elon Musk — GPT-4'ten daha güçlü YZ sistemlerinin eğitiminde altı aylık bir duraklamayı talep etti. Duraklama gerçekleşmedi, ancak mektup konuyu dünya gündemine taşıdı. Kasım ayında, Turing'in bir zamanlar şifreleri kırdığı İngiliz Bletchley Park'ta — bu seçim bilinçliydi — ilk küresel YZ Güvenlik Zirvesi düzenlendi. ABD ve Çin dahil 28 ülke ve AB, ileri teknolojili YZ risklerine ilişkin Bletchley Bildirgesi'ni imzaladı. Rakip güçlerin YZ güvenliği hakkında ilk kez birlikte konuştuğu bu zirve, bir dizi zirvenin başlangıcı oldu (Seul 2024, Paris 2025). Dürüst bir değerlendirme yapacak olursak: Duraklama hiçbir zaman gelmedi ve Bletchley Bildirgesi bağlayıcı değildi — her ikisi de konuları gündeme taşıdı, ancak uygulanabilir kurallar oluşturmadı.
Mistral & Mixtral: Avrupa'nın açık modelleri
2023'te manşetlere ABD'li şirketler hakim olurken, Paris'ten bir rakip sahneye çıktı: Mistral AI. Şirket 2023 ilkbaharında Arthur Mensch (eski Google DeepMind) ile Guillaume Lample ve Timothée Lacroix (eski Meta) tarafından kuruldu. Eylül'de küçük model Mistral 7B uzmanları şaşırttı — Apache-2.0 lisansı altında özgürce erişilebilir ve çok daha büyük Llama 2 13B'den daha güçlüydü. Aralık'ta Mixtral 8x7B geldi: pek çok görevde GPT-3.5 düzeyine ulaşan açık bir Karışık Uzman (Mixture-of-Experts) modeli, üstelik istek başına parametrelerinin yalnızca küçük bir bölümünü etkinleştiriyordu (yaklaşık 47 milyardan 13 milyarı). Mistral, açık modellerin Avrupalı sembolü hâline geldi ve milyarlarca dolar yatırım topladı. Doğru bir değerlendirme için: Açık ağırlıklar, açık kaynak demek değil — eğitim verileri ve kodu kapalı kalmaktadır. Mixtral GPT-3.5'e ulaştı, o dönemin en iyi modeli GPT-4'e değil; üstelik Karışık Uzman mimarisi de çok daha eskidir.
Google Gemini: Çok modlu YZ ailesi
Google'ın ChatGPT'ye yanıtı ve yerel çok modalite alanındaki atılım. Google, 6 Aralık 2023'te Gemini 1.0'ı duyurdu — sıfırdan çok modalite için geliştirilen bir YZ ailesi. DeepMind ve Google Brain'in iş birliği üç model boyutunu ortaya çıkardı: Son derece karmaşık görevler için Gemini Ultra, dengeli bir çözüm olarak Gemini Pro ve cihaz içi uygulamalar için Gemini Nano. Sonradan genişletilen sistemlerin aksine Gemini, dil, ses, kod ve video anlama ile yerel olarak tasarlandı. Gemini Pro, MMLU testleri dahil sekiz kıyaslama testinin altısında GPT-3.5 standardını geride bıraktı. Duyuru günü standart Bard, Gemini Pro ile yeni yetenekler kazandı; Gemini Ultra'ya sahip daha güçlü Bard Advanced için Google, 2024 başını işaret etti. Gemini, Google'ın OpenAI'nin üstünlüğüne verdiği stratejik yanıtı temsil eder ve çok modlu YZ'yi Büyük Dil Modelleri için yeni standart olarak yerleştirdi.
Cisimleşmiş YZ: Modeller bir beden kazanıyor
Yıllarca büyük YZ modelleri yalnızca ekranlarda yaşadı — metin yazıyor, görüntüler üretiyor, sohbet ediyordu. 2024 yılında bu değişmeye başladı: Bu yıl, cisimleşmiş YZ'nin yılı oldu. Fikir, dili ve görüntüleri anlayan temel modelleri gerçek bedenlere — özellikle insansı robotlara — yerleştirmektir. Figure şirketi OpenAI ile iş birliği yaptı ve konuşan, gören ve nesneleri ele alan bir robot tanıttı. NVIDIA, Project GR00T ile insansı robotlara özgü bir temel model sundu; Physical Intelligence gibi genç şirketler milyarlarca dolar değerlemeyle karşılandı. Pek çok kişi bunu zaten robotiğin ChatGPT anı olarak nitelendiriyordu. Dürüst bir değerlendirme yapacak olursak: Bunların büyük bölümü şimdiye kadar birer gösteri ve duyuruydu; gündelik yaşamda güvenilir biçimde çalışan makineler değil. Fiziksel dünya, bir robot için ekrandan çok daha zordur — beceri, güvenlik ve güvenilirlik hâlâ çözüme kavuşturulmamış sorunlardır.
Waymo: Sürücüsüz taksi gündelik hayata giriyor
On yılı aşkın süre boyunca otonom sürüş, sürekli ertelenen YZ vaatlerinin en çarpıcı örneğiydi. 2024'te bu somutlaştı: Google'ın robot araç bağlı kuruluşu Waymo, sürücüsüz taksileri ilk kez büyük ölçekte kamuya açtı — San Francisco, Los Angeles ve Phoenix'te. 2024 yazında şirket, direksiyonda güvenlik sürücüsü olmaksızın haftada 100.000'den fazla ücretli seyahat gerçekleştiğini bildirdi. Yıllarca süren duyuruların ardından bu, otonom sürüşün gerçek, gündelik bir hizmet olarak işleyebildiğinin ilk somut kanıtıydı. Doğru bir değerlendirme için: Waymo yalnızca özenle haritalanmış, dar sınırlı kentsel alanlarda çalışmaktadır — her yerde ve her hava koşulunda değil. Arızalar ve yerinde kalan araçlar olmaya devam etmekte, işletme maliyeti yüksektir. Her koşulda tam otonom sürüş çözüme kavuşturulamamıştır; 2023'te ağır bir kaza sonrasında rakip Cruise'un geri çekilmesi, teknolojinin ne denli kırılgan olduğunu gösterdi.
Sora: YZ ile metinden video üretimi
Fotogerçekçi YZ ile üretilen videolardaki ilerleme ve film endüstrisine etkileri. 15 Şubat 2024'te OpenAI, kısa açıklamalardan bir dakikaya kadar ayrıntılı HD video üretebilen bir metin-video modeli olan Sora'yı duyurdu. Japonca'da 'Gökyüzü' anlamına gelen bu adla Sora, 'sınırsız yaratıcı potansiyeli' simgeliyor. Bir Diffusion Transformer olarak Sora, zamansal tutarlılık için DALL-E 3 teknolojisini uyarlıyor ve çoğunlukla - her ne kadar güvenilir bir şekilde olmasa da - fiziksel açıdan makul hareketi simüle ediyor. Tanıtım videoları mevcut tüm metin-video sistemlerini geride bıraktı ve YZ yaratıcılığı için yeni standartlar belirledi. Yönetmen Tyler Perry, Sora'nın sektöre etkileri konusundaki endişesiyle 800 milyon dolarlık stüdyo genişletme planını durdurdu. OpenAI, daha geniş bir yayın öncesinde dezenformasyon ve önyargı için Red Team testleriyle ihtiyatlı bir yaklaşım benimsedi.
Çok Modlu Yeteneklere Sahip Claude 3 Ailesi
Görsel işleme ve üç özelleşmiş model içeren bir yapay zeka ailesinin tanıtımı. 4 Mart 2024'te Anthropic, farklı kullanım senaryoları için farklı güçlere sahip üç model olan Claude 3 ailesini tanıttı: Opus, Sonnet ve Haiku. Temel özellik, fotoğrafları, grafikleri, diyagramları ve teknik çizimleri analiz edebilen gelişmiş görsel işleme yeteneğiydi. Claude 3 Opus, bilişsel görevlerde yeni en iyi değerlere ulaştı ve MMLU ile GPQA gibi kıyaslamalarda rakiplerini geride bıraktı. Sonnet, işletmeler için zeka ve hız arasında ideal dengeyi sunarken, Haiku neredeyse anında yanıt süresiyle öne çıktı. 200.000 token bağlam penceresi (1 milyona genişletilebilir) ve 159 ülkede kullanılabilirlik ile Claude 3, çok modlu yapay zeka sistemleri için yeni kıyaslama standartları belirledi.
Devin: İlk özerk YZ yazılım mühendisi
Yapay zeka ile tamamen özerk yazılım geliştirmenin doğuşu. 12 Mart 2024'te Cognition Labs, Devin'i tanıttı — şirketin pazarlamasına göre dünyanın ilk tam özerk YZ yazılım mühendisi. Sistem bağımsız olarak planlayabilir, depoları kopyalayabilir, kod yazabilir, hata ayıklayabilir, test edebilir ve hatta dağıtım yapabilir. Zorlu SWE-Bench'te gerçek GitHub sorunlarında Devin %13,86 başarı oranına ulaştı — önceki en iyi değer olan %1,96'ya kıyasla büyük bir sıçrama. Girişim erken bir finansman turunda yaklaşık 350 milyon dolar değerlemeye ulaştı; lansmanın hemen ardından yaklaşık 2 milyar dolarlık değerlemeye ilişkin raporlar dolaşıma girdi. Etkileyici başarılara rağmen testler sınırları da ortaya koydu: 20 görevden yalnızca 3'ü başarıyla tamamlandı, sıklıkla öngörülemeyen arızalarla karşılaşıldı.
AlphaFold 3: YZ moleküllerin etkileşimini öngörüyor
AlphaFold 2'nin çıkışından dört yıl sonra Google DeepMind, Mayıs 2024'te kardeş şirketi Isomorphic Labs ile birlikte yeni bir adım attı. AlphaFold 2, tek bir proteinin üç boyutlu formuna nasıl katlandığını tahmin ediyordu. AlphaFold 3 ise belirleyici bir adım daha ileri gidiyor: Proteinlerin diğer moleküllerle nasıl etkileşime girdiğini modelliyor — DNA, RNA, iyonlar ve küçük ilaç molekülleriyle. Tam da bu etkileşim, ilaç araştırmaları için kritik önem taşır; çünkü bir ilacın hedef proteine nasıl bağlandığı bilgisayar ortamında tahmin edilebilir. Dürüst bir değerlendirme yapacak olursak: Tahminler etkileyici olmakla birlikte hatasız değildir — doğrulukları molekül türüne göre değişmekte olup laboratuvarda doğrulanmaya devam etmeleri gerekmektedir. Ayrıca AlphaFold 3, başlangıçta açık kaynak kodu olmadan yalnızca sınırlı bir web servisi olarak yayımlandı; bu durum araştırmacılar arasında izlenebilirlik konusunda eleştirilere yol açtı.
AlphaProof: YZ Matematik Olimpiyatı'nda gümüş madalya kazanıyor
Matematik uzun süredir YZ'nin başarısız olduğu bir kral disiplini olarak görülüyordu — çok yaratıcı, çok fazla gerçek anlayış gerektiren bir alan. Temmuz 2024'te Google DeepMind çarpıcı bir sonuç elde etti: AlphaProof sistemi, AlphaGeometry 2 ile birlikte Uluslararası Matematik Olimpiyatı'nın altı görevinden dördünü çözdü. Bu, altın madalyanın yalnızca bir puan altında, gümüş madalya düzeyine karşılık geliyordu. Çalışma biçiminin özgünlüğü şurada yatmaktadır: AlphaProof, kanıtlarını her adımı makine tarafından doğrulanabilir kılan resmi Lean dili kullanarak formüle eder — yani YZ hile yapamaz. Pekiştirmeli öğrenme (Reinforcement Learning) ile öğrendi. Bir YZ bu saygın yarışmada ilk kez madalya düzeyine ulaştı. Dürüst bir değerlendirme yapacak olursak: Gerçek yarışma koşulları yoktu. İnsanların yalnızca dört buçuk saati olduğu yerde YZ kimi zaman günlerce hesapladı ve uzmanların görevleri önce resmi dile elle çevirmesi gerekti. İki kombinatorik görevi çözümsüz kaldı.
AB YZ Yasası: İlk kapsamlı YZ mevzuatı
Yapay zekanın dünya genelindeki ilk kapsamlı düzenlemesi yürürlüğe girdi. 1 Ağustos 2024'te AB YZ Yasası (EU AI Act) resmi olarak geçerlilik kazandı — tüm YZ yaşam döngüsü için 180 gerekçe ve 113 madde içeren risk temelli bir düzenleyici çerçeve. Yasa, YZ sistemlerini dört risk düzeyine göre sınıflandırıyor: kabul edilemez uygulamalar yasaklanıyor, eğitim, istihdam ve yargı alanlarındaki yüksek riskli sistemler ayrıntılı uyumluluk yükümlülüklerine tabi tutuluyor, sınırlı riskli sistemler şeffaflık yükümlülüklerini yerine getirmek zorunda ve minimum riskli büyük çoğunluk büyük ölçüde serbest kalıyor. Bunun yanı sıra, örneğin ChatGPT'yi besleyen GPT gibi GPAI temel modelleri için ayrı kurallar da geçerli. Yasanın toprak dışı etkisi, Avrupalı kullanıcılara hizmet sunan AB dışındaki sağlayıcıları da kapsıyor. İhlaller halinde 35 milyon Euro'ya veya yıllık küresel cirosunun %7'sine kadar para cezası öngörülüyor. Tıpkı GDPR'nin 2018'deki etkisi gibi, YZ Yasası da küresel standartlar belirleyebilir ve YZ'nin hayatımızı nasıl şekillendireceğini etkileyebilir. Kademeli uygulama 2025'te başlayacak ve 2027'de tam anlamıyla yürürlüğe girecek.
OpenAI O1 - Akıl yürütmede ilerleme
OpenAI, 12 Eylül 2024'te önce o1-preview (ve o1-mini) modellerini yayımlayarak pekiştirmeli öğrenme (Reinforcement Learning) ile eğitilen düşünce zinciri (Chain-of-Thought) sayesinde YZ akıl yürütme yeteneklerini önemli ölçüde geliştirdi. O1, yanıt vermeden önce sistematik biçimde 'düşünen' ilk geniş çaplı dil modelidir - gizli bir düşünce zinciriyle sorunları adım adım çözümler. Bu yeni yaklaşım, ek bir ölçeklendirme boyutu açtı: Daha uzun 'düşünme' süresinin daha iyi sonuçlara yol açtığı test zamanı ölçeklendirmesi (Test-Time-Scaling). Tam o1 modeli, kıyaslama testlerinde fizik, kimya ve biyoloji alanlarında doktora düzeyinde performans sergiledi ve American Invitational Mathematics Examination'daki görevlerin yüzde 83'ünü çözdü (GPT-4o: yüzde 13). Bu teknoloji, YZ'nin yapılandırılmış akıl yürütme yoluyla belirgin ölçüde geliştirilmiş problem çözme becerileri kazanabileceğini göstermektedir.
2024 YZ Nobel Ödülleri
Ekim 2024'te eşi görülmemiş bir şey yaşandı: Aynı yıl iki doğa bilimleri Nobel Ödülü, modern YZ'nin temellerini onurlandırdı. 8 Ekim'de Fizik Nobel Ödülü, yapay sinir ağlarıyla makine öğrenimini mümkün kılan temel keşifler nedeniyle John Hopfield ve Geoffrey Hinton'a verildi. Fiziğin tam da sinir ağlarını ödüllendirmesi tartışmalara yol açtı — ancak Hopfield'ın fizikten ilham alan ağları (1982) ve Hinton'ın öğrenme yöntemleri gerçekten de temeli attı. Bir gün sonra Kimya Nobel Ödülü'nü David Baker (bilgisayar destekli protein tasarımı için) ile DeepMind'dan Demis Hassabis ve John Jumper paylaştı — 50 yıllık protein katlama problemini çözen AlphaFold için. İlk kez, YZ temel araştırması bilimin en üst düzeyinde tescil edildi. Dikkat çekici olan şu: Yeni ödüllendirilmiş Hinton, birlikte kurduğu teknolojinin risklerine karşı uyarmak için bu sahneyi kullandı.
OpenAI o3: ARC-AGI'da çığır açan sonuç
2024 yılının sonuna yakın, 20 Aralık'ta OpenAI, o1'in halefi o3'ü duyurdu — çalışma zamanı düşüncesinin (Test-Time Scaling) daha da ölçeklendirilebildiğinin kanıtı. Özellikle bir değer dikkat çekti: o3, ezberlemeyle geçilemeyecek şekilde tasarlanmış bir test olan ARC-AGI'da yüzde 87,5 aldı — önceki modeller burada sıfıra yakın kalmıştı. Bu sonuçla o3, söz konusu kıyaslamada ilk kez insana yakın bölgelere ulaştı ve aynı zamanda matematik ile programlamada da parlak sonuçlar verdi. o1 ve DeepSeek'in R1'iyle birlikte o3, akıl yürütme modellerinin çağını işaret etti (o3-mini Ocak 2025 sonunda, tam o3 ise Nisan'da çıktı). Doğru bir değerlendirme için: Yüzde 87,5, görev başına muazzam — ve çok pahalı — hesaplama gücü gerektiren yüksek performans modunda elde edildi; ARC Prize organizatörleri, o3'ün YGZ (Yapay Genel Zeka) olmadığını ve daha zor olan ARC-AGI-2 testinde belirgin biçimde gerilediğini açıkça vurguladı.
Ajantik YZ ana akıma giriyor
2024 ve 2025 yıllarında YZ'nin ne yaptığı temelden değişti: cevap vermekten eyleme geçmeye. Bunu ilk başlatan Anthropic oldu; Ekim 2024'te Computer Use ile — büyük YZ laboratuvarları arasında ilk olarak — bir bilgisayarı bizzat kullanan bir model çıkardı: ekranı izleyen, fareyi hareket ettiren, tıklayan, yazan. Ocak 2025'te OpenAI'ın Operator'ı geldi; web'de bağımsız sörf yapan ve görevleri yerine getiren bu ajanı kısa süre sonra çok adımlı araştırma yapan ve kaynaklı raporlar yazan Deep Research izledi. Metin üreten sohbet robotu, kullanıcı adına eylem gerçekleştiren bir sisteme dönüştü — Devin'in (2024) işaret ettiği niteliksel dönüşüm. Dürüst bir değerlendirme yapacak olursak: İlk sürümler yavaş, hata yapmaya eğilimli ve çoğunlukla dar tanımlı görevlerle sınırlıydı; ajan olarak pazarlanan sistemler 2025'te yoğun biçimde tanıtıldı, ancak güvenilirlikleri pazarlamayla henüz boy ölçüşemiyordu.
DeepSeek-R1: Çin'den YZ şoku
Ocak 2025'in sonunda bir YZ modeli, ilk kez görünür biçimde dünya borsalarını sarstı. Çinli laboratuvar DeepSeek, 20 Ocak 2025'te R1'i yayımladı — OpenAI'ın o1'iyle eş düzeyde bir muhakeme modeli; ancak açık ağırlıklara (MIT Lisansı) sahip ve beklenen maliyetin çok küçük bir kısmıyla eğitilmişti. Bunu mümkün kılan, temel model DeepSeek-V3 üzerinde gerçekleştirilen kapsamlı pekiştirmeli öğrenmeydi. DeepSeek uygulaması bir hafta sonra ABD listelerinin başına geçince hava değişti: 27 Ocak'ta Nvidia yaklaşık %17 değer kaybederek — tek bir günde yaklaşık 600 milyar dolar, ABD borsa tarihinin en büyük tek günlük kaybı — yatırımcılar, zirvede yer alan YZ'nin belki de sonsuz pahalı çiplere ihtiyaç duymayabileceği kaygısıyla satışa geçti. R1 aynı anda birçok kesinliği sarstı: Yalnızca ABD hiper-ölçekleyicilerinin zirvede yer alabileceği, muhakeme modellerinin kapalı kalacağı ve daha fazla hesaplama gücünün ileriye giden tek yol olduğu varsayımları. Dürüst bir değerlendirme yapacak olursak: Dolaşımdaki birkaç milyon dolar rakamı, yalnızca temel model V3'ün son eğitim adımını kapsamaktadır — R1'in kendisini değil, araştırma ve genel donanım maliyetlerini de değil — ve R1 her alanda o1'den üstün değildi.
Stargate: Devlet ölçeğinde YZ altyapısı
21 Ocak 2025'te Yapay Zeka, Beyaz Saray sahnesinde devlet ölçeğinde bir altyapı projesi olarak yer aldı. OpenAI, SoftBank, Oracle ve yatırımcı MGX, Stargate Projesi'ni duyurdu: ABD'deki YZ veri merkezleri için dört yıl içinde 500 milyar dolara kadar kaynak, bunun 100 milyar dolarının hemen konuşlandırılması planlıydı. Bu açıklama, YZ'nin bir sonraki aşamasının algoritma meselesinden çok enerji ve inşaat meselesi olduğunu gözler önüne serdi: Güç istasyonları ve sanayi parkları ölçeğinde hesaplama gücü. AlexNet'ten bu yana kırmızı ipliği hesaplama gücü olan bir alan için (bkz. CUDA 2007) bu, mantıksal ama son derece büyük bir sonraki adımdı — ve YZ'nin ulusal ve jeopolitik bir öncelik haline geldiğinin işaretiydi. Doğru bir değerlendirme için: Bir duyuru, tamamlanmış bir veri merkezi değildir. 500 milyar doların tamamının bir araya gelip gelmeyeceği başından beri tartışmalıydı — katılımcılar ve gözlemciler bile finansman konusunda kamuoyu önünde şüphelerini dile getirdi.
Paris YZ Eylem Zirvesi
10-11 Şubat 2025'te Paris'in Grand Palais'inde devlet ve hükümet başkanları, teknoloji şirketleri ve araştırmacılar, Bletchley (2023) ve Seul'ün (2024) ardından üçüncü büyük YZ Zirvesi olan YZ Eylem Zirvesi'nde bir araya geldi; zirveye Fransa Cumhurbaşkanı Macron ve Hindistan Başbakanı Modi birlikte başkanlık etti. Dikkat çekici olan ton değişimiydi: İlk zirve YZ güvenliğini odak noktasına koymuşken, Paris'te ağırlıklı olarak fırsatlar, yatırımlar ve rekabet gücü konuşuldu — ABD Başkan Yardımcısı aşırı düzenlemeye açıkça karşı çıktı. Sonunda 58 devletin yanı sıra AB ve Afrika Birliği, kapsayıcı ve sürdürülebilir YZ için bir bildiri imzaladı — ancak ABD ve Birleşik Krallık imzalamayı reddetti. Böylece zirve, YZ yönetişimindeki transatlantik kırılmayı açıkça ortaya koydu. Doğru bir değerlendirme için: Bildiri bağlayıcı değildi ve eleştirmenler zirveyi güvenlik konusunda kaçırılmış bir fırsat olarak nitelendirdi.
2025'in Frontier modelleri
2025'te o1 ve R1'in başlattığı muhakeme yeteneği, zirvedeki modellerin standardı haline geldi — ve bu, takip edilmesi güç bir hızda gerçekleşti. Mart'ta Google, Gemini 2.5 Pro'yu tanıttı; Mayıs'ta Anthropic Claude 4'ü (Opus 4 ve Sonnet 4) çıkardı, Ağustos'ta OpenAI GPT-5'i sundu; bunların arasında ise kimi zaman hızlı yanıt veren kimi zaman daha uzun düşünen ilk hibrit model olan Claude 3.7, GPT-4.5, Meta'nın Llama 4'ü ve xAI'ın Grok'u geldi. Yeni nesil iki çizgiyi birleştirdi: muhakeme modellerinin adım adım düşünmesi ve bağımsız biçimde hareket etme yeteneği (ajantik). Özellikle uzun süreli özerk programlama ön plana çıktı. Dürüst bir değerlendirme yapacak olursak: Laboratuvarlar her hafta kıyaslama rekoru kırmak için yarıştı ve her biri zirveyi kendisi için talep etti — gerçek ilerlemeler yaşandı, ancak sıkça kullanılan AGI sözcüğü, gerçekliğin ötesinde bir pazarlama aracı olarak kalmaya devam etti.
Babbage'ın Analitik Motoru: Bilgisayar fikri
YZ'nin tarihi bilgisayarlarla değil, onların fikriyle başlar. 1830'larda İngiliz matematikçi Charles Babbage Analitik Motor'u tasarladı ve 1837'de ilk kez ayrıntılı biçimde tanımladı — kağıt üzerinde dünyanın ilk evrensel, programlanabilir hesap makinesi. Tasarımı çağının yüzyıl ötesindeydi: Babbage'ın mill (değirmen) adını verdiği aritmetik birimi, bir belleği (store), delikli kartlarla programlamayı ve hatta koşullu atlamaları içeriyordu — bugünkü her bilgisayarın temel yapı taşları. Makine onun sağlığında hiç inşa edilmedi; 19. yüzyılın mekaniği için çok karmaşıktı. Bununla birlikte her hesap makinesinin uzak atası olarak kalmaktadır — ve dolayısıyla yapay zekanın üzerinde çalışabileceği donanımın da. Dürüst bir değerlendirme yapacak olursak: Analitik Motor tamamlanmamış bir tasarım olarak kaldı ve o bir hesap makinesi, düşünen bir makine değildi. Hesaplamayı sağladı — zekayı değil.
Ada Lovelace: İlk program — ve cesur bir vizyon
Makineyi tasarlayan Charles Babbage'dı — ancak onun gerçekte neler yapabileceğini ilk kavrayan Ada Lovelace oldu. 1843'te İngiliz matematikçi, Babbage'ın Analitik Motoru hakkındaki bir makaleyi çevirdi ve orijinal metni hem hacim hem de derinlik bakımından çok aşan kendi notlarını ekledi. G notunda, makinenin Bernoulli sayılarını hesaplamak için izleyeceği bir yöntemi tanımladı — bu yöntem çoğunlukla yayımlanmış ilk bilgisayar programı olarak anılır. Daha da öngörülü olan ikinci kavrayışıydı: Makine yalnızca sayılarla sınırlı kalmak zorunda değildi; her türlü sembolü işleyebilir, hatta müzik bile besleyebilirdi. Lovelace böylece evrensel veri işleme fikrini bir yüzyıl erken düşünmüştü. Dürüst bir değerlendirme yapacak olursak: Onun gerçekten ilk programcı olup olmadığı tartışmalıdır — Babbage'ın kendisi daha önce programlar taslak etmişti ve Bernoulli rutini onunla birlikte geliştirilmişti. Öte yandan Lovelace, makinenin gerçek anlamda yeni bir şey üretemeyeceğini düşünüyordu — bu itiraz Alan Turing tarafından 1950'de açıkça reddedildi.
Turing Makinesi: Hesaplamak ne demektir
Makinelerin düşünüp düşünemeyeceği sorulmadan önce, bir makinenin aslında ne hesaplayabileceğinin ortaya konması gerekiyordu. Bu soruyu İngiliz matematikçi Alan Turing, 1936'da 'On Computable Numbers' adlı makalesiyle yanıtladı. Makalesinde şaşırtıcı derecede basit bir zihinsel model tanımladı — bir bant, bir okuma-yazma kafası, birkaç kural —, sonradan Turing Makinesi adını alan bu model. Turing, bununla hesaplanabilir olanı ve olmayanı kesin biçimde belirledi. En önemli kavrayışı şuydu: Tek bir evrensel Turing Makinesi, her diğerini taklit edebilir. Bu, evrensel bilgisayarın teorik planıdır — doğru programla hesaplanabilir olan her şeyi yapabilen bir makine. Böylece Turing bilişimin kurucusu oldu ve düşünen makineler fikrini ilk kez mümkün kılan temeli yarattı. Doğru bir değerlendirme için: Turing Makinesi matematiksel bir fikirdir, kurulmuş bir aygıt değil; konu hesaplanabilirlikti, zeka değil. Makinelerin düşünüp düşünemeyeceğini Turing ancak 1950'de sordu. Turing Makinesi adını ise başkaları koydu.
McCulloch & Pitts: İlk yapay nöron
Dartmouth Konferansı'ndan on üç yıl önce, savaşın ortasında, yapay sinir ağlarının gerçek doğum belgesi ortaya çıktı. Nörofizyolog Warren McCulloch ve öz öğretimli mantıkçı Walter Pitts — henüz yirmi yaşında ve hiçbir akademik derecesi olmayan — 1943'te Bulletin of Mathematical Biophysics dergisinde 'A Logical Calculus of the Ideas Immanent in Nervous Activity' adlı makaleyi yayımladı. Fikirleri köklü biçimde basitti: Bir nöronu, girdilerin toplamı bir eşiği aştığında 'hep ya da hiç' ilkesine göre ateşleyen ikili bir anahtar elemanı olarak tanımlayabilirsiniz. Salt önerme mantığı temelinde, bu tür birimlerden oluşan ağların her mantıksal işlevi hesaplayabileceğini ve geri besleme döngüleri olan ağların bir tür belleğe bile sahip olduğunu kanıtladılar. Son bölümde ağlarının bir Turing makinesiyle aynı şeyi hesaplayabileceğini belirttiler. Böylece nöronu mantıksal bir hesaplama birimi olarak tanımlayan ilk matematiksel modeli sundular. Sonraki on yılı şekillendirecek olan kusur şuydu: Nöronları öğrenemiyordu.
Shannon'in bilgi kuramı: Bit doğuyor
1948'de Bell Labs'da dijital dünyayı temellendiren bir makale yayımlandı: Claude Shannon'in 'A Mathematical Theory of Communication'ı. Shannon, bilginin anlamından bağımsız olarak matematiksel biçimde nasıl ölçülebileceğini gösterdi. Bit'i bilginin en küçük birimi olarak ortaya koydu ve entropi kavramını geliştirdi: bir mesajın ortalama olarak ne kadar belirsizliği giderdiğinin ölçüsü. Böylece veri sıkıştırmanın, hatasız iletimin ve nihayetinde her bilgisayarın temelini attı. YZ için bu, salt bir ön tarihten fazlasıdır: Bugün sinir ağlarının eğitim hedefleri olarak kullanılan çapraz entropi (Cross-Entropy) ve Kullback-Leibler ıraksama gibi kavramlar, doğrudan Shannon'in kuramından kaynaklanmaktadır. Doğru bir değerlendirme için: Shannon mesajların iletimini tanımladı, düşünmeyi değil. Bilgi kuramı, YZ'nin üzerine inşa ettiği matematiksel bir araçtır — kendisi yapay zeka değildir.
Hebb kuralı: Beyinde öğrenme nasıl gerçekleşir
1949'da Kanadalı psikolog Donald Hebb, 'The Organization of Behavior' adlı kitabını yayımladı ve basit ama derin sonuçları olan bir fikir ortaya attı: Birbiriyle bağlantılı iki sinir hücresi tekrar tekrar birlikte ateşlendiğinde bağlantıları güçlenir. Hebb böylece öğrenmenin tek tek sinaps düzeyinde nasıl işleyebileceğine dair ilk somut mekanizmayı sundu. YZ için bu ilke temel bir kavram haline geldi: Öğrenmek, bağlantıların gücünü ayarlamak demektir — yapay sinir ağlarının, örneğin sonraki Hopfield ağlarının tam olarak yaptığı şey. Dürüst bir değerlendirme yapacak olursak: Birlikte ateşlenen nöronların birlikte bağlandığına ilişkin ünlü özdeyiş aslında Hebb'den gelmiyor — nörobilimci Carla Shatz'a atfedilir (1992). Hebb'in kuralı tek başına modern derin öğrenmeyi açıklamaz, çünkü hedefli hata düzeltmesinden yoksundur.
Turing Testi: Taklit Oyunu
Makine zekasının felsefi temeli ve ilk YZ karşılaştırma ölçütü. 1950'de Alan Turing, Mind dergisinde 'Computing Machinery and Intelligence' adlı makalesini yayımladı ve 'Makineler düşünebilir mi?' sorusunu yeniden ele aldı. Felsefi tanımlar yerine Turing, pratik 'Taklit Oyunu'nu önerdi: İnsan bir değerlendirici, bir insan ile bir makine arasındaki metin transkriptlerini değerlendirir. Değerlendirici makineyi belirlemeye çalışır - makine, değerlendirici onu güvenilir biçimde ayırt edemiyorsa testi geçer. Belirleyici olan yanıtların doğruluğu değil, insan yanıtlarına ne kadar benzediğidir. Bu ayırt edilemezlik testi, sözel ve sözel olmayan tüm insan performanslarına (robotik) genelleştirilebilir. Turing'in davranış temelli yaklaşımı, tüm YZ araştırmaları için kavramsal temeli oluşturdu ve ELIZA'yı, ChatGPT'yi ve tüm modern konuşma YZ sistemlerini etkiledi.
Logic Theorist: İlk akıl yürüten program
Dartmouth'ta 'Yapay Zeka' kavramının ortaya çıktığı yaz, Allen Newell, Herbert Simon ve çoğu zaman unutulan programcı Cliff Shaw, sıkça 'ilk YZ programı' olarak anılan bir şeyi tanıttılar — ancak bir dipnot gerekir. Logic Theorist, matematiksel teoremleri kanıtladı: Whitehead ve Russell'ın 'Principia Mathematica'sından önerme mantığını aldı ve ilk 52 teoremden 38'i için bağımsız olarak kanıtlar buldu. Dikkat çekici olan nasıl olduğuydu: Tüm olasılıkları körü körüne denemek yerine program sezgisel bir arama yaptı — hangi adımların değerli olduğunu tahmin etti ve hedeften geriye doğru çalıştı. Bir teorem için orijinalden daha kısa bir kanıt bile buldu; haberlere göre Russell memnuniyetle karşıladı, ancak bir akademik dergi sunulan kanıtı reddetti. Her şey IPL adlı bir liste dilinde yazılmıştı ve bu dil McCarthy'nin LISP'ını önceden haber veriyordu. Sınırlılık: Samuel'in Dama gibi oyun programları daha önce çalışıyordu — Logic Theorist, açık bir düşünme görevinde insan akıl yürütmesini bilinçli olarak taklit etmeye çalışan ilk programdı.
Dartmouth Konferansı: YZ'nin doğum saati
Yapay Zekanın bir araştırma alanı olarak doğduğu tarihi an. 18 Haziran - 17 Ağustos 1956 tarihleri arasında Dartmouth College'da ilk YZ Yaz Araştırma Konferansı düzenlendi. John McCarthy, Marvin Minsky, Nathaniel Rochester ve Claude Shannon cesur bir vizyona sahipti: 'Öğrenmenin her boyutu ya da zekanın diğer her özelliği, bir makinenin bunu taklit edebileceği kadar kesin biçimde tanımlanabilir.' Sekiz haftalık bu çalışma toplantısında McCarthy 'Yapay Zeka' (Artificial Intelligence) terimini ortaya attı ve böylece yeni bir bilim dalının temelini attı. Bazı katılımcılar yalnızca birkaç hafta gelirken diğerleri sürekli kaldı: Herbert Simon ve Allen Newell ilk haftalarda Logic Theorist adlı çalışmalarını sundular, Ray Solomonoff ise sekiz haftanın tamamını orada geçirdi; tartışmalar Matematik Bölümü'nün en üst katında yapıldı. Bu konferanstan üç tarihi YZ merkezi doğdu: Newell ve Simon ile Carnegie Mellon, Minsky ile MIT ve McCarthy ile Stanford.
Perceptron: İlk öğrenen yapay sinir ağı
Makine öğreniminin doğuşu: ilk eğitilebilir yapay nöron. 1957'de Frank Rosenblatt, Cornell Aeronautical Laboratory'de Perceptron'u geliştirdi — deneyimden öğrenebilen ilk yapay sinir ağı. Ocak 1957'de 'The Perceptron: A Perceiving and Recognizing Automaton' (Project PARA, Rapor 85-460-1) başlıklı teknik raporu yayımladı. Resmi bilimsel yayın ise Kasım 1958'de Psychological Review'da çıktı. Biyolojik nöronlardan ilham alan Perceptron, ağırlıklı girdileri Heaviside basamak fonksiyonu aracılığıyla ikili çıktılara dönüştürüyordu. Yenilikçi Perceptron öğrenme kuralı, bir örnek yanlış sınıflandırıldığında ağırlıkları düzeltiyordu — modern yapay sinir ağlarındaki öğrenmenin erken bir öncüsü (Widrow ve Hoff'un 1960'taki Delta kuralıyla karıştırılmamalıdır). Başlangıçta bir IBM 704 üzerinde simüle edilen ve 1958'de kamuoyuna duyurulan Perceptron'un Mark-I donanımı ancak 1960 civarında tamamlandı. Doğrusal ayrılabilir problemlerle sınırlı olmasına karşın Perceptron, sonraki tüm yapay sinir ağı mimarilerinin kavramsal temelini attı.
LISP: YZ'nin dili
1958'de John McCarthy, MIT'de sembolik hesaplamayı merkeze alan bir programlama dili tasarladı: Liste İşleme anlamına gelen LISP. Sayıları işlemek yerine LISP, sembol listelerini işliyordu — tam olarak sembolik YZ'nin ihtiyaç duyduğu şey. On yıllar boyunca LISP, YZ araştırmalarının dili oldu: Uzman sistemler, dil işleme ve planlama sistemleri onunla geliştirildi. McCarthy'nin dili aynı zamanda bugün olağan sayılan fikirleri de hayata taşıdı: özyineleme, otomatik bellek yönetimi (Garbage Collection), veri olarak fonksiyonlar ve etkileşimli değerlendirme. Steve Russell, McCarthy'nin teorik eval mekanizmasını ilk yorumlayıcı olarak hayata geçirdi — ve böylece LISP çalıştırılabilir hale geldi. Dürüst bir değerlendirme yapacak olursak: LISP ilk üst düzey programlama dili değildi (Fortran 1957'de geldi), ancak hâlâ kullanılan en eski ikinci dil — ve YZ için en belirleyici olan.
Arthur Samuel: Kendi kendine öğrenen YZ ve 'Makine Öğrenimi' kavramı
Dartmouth Konferansı'ndan birkaç yıl önce Arthur Samuel, IBM'de bir makineye Dama oynamayı — ve aynı zamanda öğrenmeyi — öğretti. Programı 1952'den itibaren IBM 701 üzerinde çalıştı; ancak belirleyici olan, 1959'daki 'Some Studies in Machine Learning Using the Game of Checkers' adlı makalesinde yer alandı. Program kendi kendini geliştirdi: Sonuçlara göre değerlendirme fonksiyonunun ağırlıklarını ayarlayarak kendisiyle on binlerce parti oynadı. Bu makalenin başlığında 'Machine Learning' (Makine Öğrenimi) kavramı bugünkü anlamıyla ilk kez belgelenmiş biçimde geçiyor — Samuel bu terimin yaratıcısı olarak kabul edilmektedir. Richard Sutton daha sonra Samuel'in öz oyununu, modern Pekiştirmeli Öğrenmenin özünde yer alan Zamansal Fark (Temporal-Difference) öğreniminin en erken uygulaması olarak değerlendirdi. 1956'daki televizyon gösterisi ve sözde bir şampiyona karşı sıkça aktarılan zafer manşetlere taşındı — ancak her ikisi de büyük ölçüde abartıldı: Gerçekten güçlü oyunculara karşı program açıkça kaybetti ve Dama ancak on yıllar sonra tam olarak çözülebildi.
DENDRAL: Uzman sistemlerin öncüsü
1960'ların ortasında YZ belirleyici bir ayrıma yöneldi. Stanford Üniversitesi'nde Edward Feigenbaum ve genetikçi ve Nobel ödüllü Joshua Lederberg, DENDRAL üzerinde çalışmaya başladı — çoğunlukla ilk uzman sistem olarak anılan ve her halükarda bilimsel çıkarsama üzerinde YZ uygulayan ilk program. Önceki sistemler gibi genel arama yapmak yerine DENDRAL, insan kimyacılarının uzmanlık bilgisini kullandı: Bir kütle spektrometresinin verilerinden organik moleküllerin yapısını türetti. Buradan çıkan ders bir on yılın YZ anlayışını biçimlendirdi — bilgi güçtür. En akıllı genel algoritma değil, en fazla uzmanlık bilgisine sahip olan kazanır. DENDRAL böylece 1980'lerin uzman sistem patlamasının yolunu açtı. Dürüst bir değerlendirme yapacak olursak: DENDRAL yıllar süren başarılı bir araştırma projesi oldu — tek bir ürün değil. Ancak bilgileri zahmetli biçimde elle girmesi gereken yöntemi sonradan Aşil topuğuna dönüştü: 1980'lerin ticari uzman sistemlerini kırılgan ve pahalı kıldı; bu da YZ kışına katkıda bulundu.
Bulanık mantık: Belirsizliğin matematiği
Belirsizlik ve yaklaşık çıkarım ile başa çıkmak için önemli bir matematiksel atılım. 1965 yılında Lotfi Zadeh, UC Berkeley'de 'Fuzzy Sets' (Bulanık Kümeler) adlı çığır açan makalesini yayımladı — klasik mantığın belirsiz ve eksik bilgilerle başa çıkamamasına verilen bir yanıt. Yeniliği, insanların kesin sayısal olmayan, belirsiz bilgilere dayanarak karar verdiği gerçeğini kavramasında yatıyordu. Bulanık mantık (Fuzzy Logic), ikili evet/hayır mantığının aksine 0 ile 1 arasında üyelik dereceleri tanımlar. 100.000'i aşkın atıfla Zadeh'in çalışması, Soft Computing'in ve modern YZ yaklaşımlarının temeline dönüştü. 'Belirsizliğin kesin mantığı' olarak adlandırılan bu yaklaşım, belirsizliği, eksikliği ve çelişkili bilgileri matematiksel olarak modellemeye olanak tanıdı. Bulanık mantık, uzman sistemlerde, kontrol sistemlerinde ve daha sonra belirsiz karar süreçleri için modern YZ mimarilerinde uygulama alanı buldu.
ELIZA: İlk sohbet robotu
İnsan-makine konuşmasının doğuşu ve insan psikolojisi üzerine istem dışı bir deney. Yaklaşık 1964'ten 1966'ya kadar Joseph Weizenbaum, MIT'de ELIZA'yı geliştirdi — insanlarla konuşmak için açıkça tasarlanan ilk program. Şaşırtıcı derecede yalın bir kodla ve basit örüntü eşleme (Pattern-Matching) teknolojisiyle ELIZA konuşmalar simüle etti; özellikle Rogerian terapist olarak DOCTOR varyantında. Sürpriz teknolojide değil, insan tepkisindeydi: Weizenbaum'un kendi sekreteri dahil kullanıcılar programa duygusal bağlar geliştirdi ve 'terapi seansları' için mahremiyet bile talep etti. Weizenbaum bu olguyu — ilkel programlara insani özellikler atfetme eğilimini — erken dönemde tanımladı ve eleştirdi. 'ELIZA etkisi' terimi ise daha sonra, 1990'lı yıllarda ortaya çıktı ve yaygınlaştı. ELIZA, basit illüzyonun gücünü kanıtladı ve tüm modern sohbet robotlarının temelini attı.
Perceptrons: YZ kışını tetikleyen kitap
1969'da MIT araştırmacıları Marvin Minsky ve Seymour Papert, Perceptrons adlı kitabı yayımladı. Matematiksel bir titizlikle, tek katmanlı bir algılayıcının — bir sinir ağının en basit biçiminin — neler yapabileceğini ve neler yapamayacağını gösterdiler. En ünlü bulgularıydı bu: Böyle bir ağ, düz bir çizgiyle ayrılamadığı için basit XOR işlevini bile öğrenemez. Etkisi muazzam oldu: Sinir ağlarına duyulan güven çöktü, on yılı aşkın bir süre için finansman kurudu — bu, ilk YZ kışına önemli bir katkıydı. Doğru bir değerlendirme için: Minsky ve Papert, sinir ağlarını asla çürütmedi. Yalnızca tek katmanlı çeşidi analiz ettiler; çok katmanlı ağlar XOR'u kolaylıkla çözer — bu durum 1986'dan itibaren geri yayılım (Backpropagation) yöntemiyle pratikte kullanılır hale geldi. Kitabın araştırmayı tek başına öldürdüğü anlatısı kısmen bir efsanedir. Ancak para ve ilgideki düşüş çok gerçekti.
Shakey: İlk zeki mobil robot
Akıl yürütme, planlama ve fiziksel eylemin entegrasyonuyla özerk robotiğin doğuşu. 1966'dan 1972'ye kadar Charles Rosen'ın ekibi SRI International'da Shakey'i geliştirdi - kendi eylemleri üzerine düşünebilen ilk mobil robot. 2 metre yüksekliğindeki bu robot, TV kamerası, sonar mesafe ölçer, işlemciler ve çarpma algılayıcısı olarak 'kedi bıyıkları'nı özerk bir sistemde birleştirdi. Shakey'nin dikkat çekici yetenekleri arasında çevre algılama, örtük gerçeklerden çıkarım yapma, plan oluşturma ve hata telafisi yer alıyordu - bunların tümü doğal İngilizce diliyle kontrol edilebiliyordu. ARPA (bugün DARPA) tarafından finanse edilen bu proje, mantıksal akıl yürütmeyi fiziksel eylemle ilk kez bir araya getirerek özerk sistemlerin temellerini attı. Shakey'nin yenilikleri A* arama algoritmasına, görünürlük grafiği yöntemlerine ve Hough dönüşümünün bilgisayar destekli etkili varyantına (Duda & Hart, SRI 1972) yol açtı. 1970'de Life Magazine Shakey'yi 'ilk elektronik insan' olarak nitelendirdi.
SHRDLU: Blok dünyasında dil anlama
1970 civarında Terry Winograd, MIT'de uzmanları hayrete düşüren bir program yarattı: SHRDLU. Ona basit İngilizce ile talimatlar verilebiliyordu — örneğin kırmızı küpü yeşil bloğun üstüne koy — ve program bunları renkli bloklardan oluşan sanal bir dünyada uyguluyordu. SHRDLU yalnızca komutları anlamaktan fazlasını yapıyordu: Belirsiz cümleleri çözüyor, söylenenleri hatırlıyor, dünyasına ilişkin sorulara yanıt veriyor ve hatta neden bir şey yaptığını bile açıklayabiliyordu. Pek çokları için sembolik YZ'nin etkileyici doruk noktasıydı — makinelerin dili şaşırtıcı biçimde iyi anlayabildiğinin kanıtı. Doğru bir değerlendirme için: SHRDLU'nun anlayışı yalnızca kendi minik, kapalı blok dünyasında işliyordu. Sonsuz gündelik bilgisiyle gerçek, düzensiz dünyaya aktarılamadı. Zamanla SHRDLU, bu tür mikro düneyaların sınırlarını gösteren bir ders niteliğine büründü — Winograd'ın kendisi de daha sonra bu yaklaşımdan uzaklaştı.
Gizli Markov Modelleri yerleşiyor
Konuşma tanıma ve dizi modellemesi için matematiksel temel. 1960'ların sonundan 1970'e kadar Leonard Baum, Lloyd Welch ve Ted Petrie, Institute for Defense Analyses'te Gizli Markov Modellerini geliştirerek Baum-Welch algoritmasını yerleştirdi. Bu istatistiksel modeller, dizilerdeki gizli durumları modelledi ve zamana bağımlı verilerdeki saklı durumları yakalamak için ilk uygulanabilir yaklaşımlardan birini sundu. 1970'lerin ortasından itibaren GMM'ler ilk pratik uygulamalarını Carnegie Mellon'da James Baker aracılığıyla ve ardından IBM'de konuşma tanıma alanında buldu. Bu yöntem, otomatik konuşma tanımayı basit şablon eşleştirme süreçlerinden istatistiksel yaklaşımlara dönüştürdü. GMM'ler, biyoinformatikten finansal analize, jest tanımaya kadar pek çok alanda dizi modellemesinin standardı haline geldi. 1977'de genel biçimiyle formüle edilen Beklenti-Maksimizasyon algoritmasının özel bir durumu olarak sonradan tanınan Baum-Welch algoritması, modern olasılıksal Makine Öğrenimi yöntemlerinin temelini attı.
Prolog: Mantıkla programlamak
1972'de Marsilya Üniversitesi'nde diğerlerinden tamamen farklı düşünen bir programlama dili doğdu: Prolog, Programmation en Logique'nin kısaltması. Yaratıcıları Alain Colmerauer ve Philippe Roussel — Robert Kowalski'nin kuramına dayanarak — çarpıcı bir fikri izlediler. Prolog'da bilgisayara bir şeyi nasıl yapması gerektiğini adım adım söylemek yerine, yalnızca bir dünyanın gerçeklerini ve kurallarını tanımlarsınız. Mantıksal çıkarımı sistem kendi kendine yapar. Prolog, sembolik YZ'nin en önemli dili haline geldi: uzman sistemlerde, dil işlemede ve Japonya'nın iddialı Beşinci Kuşak Projesi'nin merkezinde. Doğru bir değerlendirme için: Mantıksal programlama hiçbir zaman YZ'nin egemen paradigması olmadı. Tamamen Prolog üzerine kurulu Japonya'nın büyük projesi, vaatlerinin çok gerisinde kaldı. Üstelik bu başarı, dilin kendisi kadar Robert Kowalski'nin kuramına da borçludur.
Birinci YZ Kışı
Yapay zeka araştırma fonlarında dramatik kesintilerin yaşandığı ve yapay zekaya olan güvenin sarsıldığı bir dönem. 1960'ların abartılı vaatlerinin ardından acı gerçek geldi: YZ programları, çözmeleri gereken problemlerin yalnızca önemsiz versiyonlarını çözebiliyordu. Büyük Britanya'da 1973 tarihli Lighthill Raporu yıkıcı bir eleştiri sundu ve bunun üzerine Science Research Council yönlendirilmemiş YZ araştırmalarının finansmanını azalttı. ABD'de DARPA, Mansfield Değişikliği'nin etkisiyle birkaç yıl boyunca amaç bağlı olmayan araştırmalardan uzaklaştı; dil anlama finansmanındaki sert kesinti 1974-75'te Carnegie Mellon'daki projeyi etkiledi ve 3 milyon dolarlık sözleşmenin feshine yol açtı. Bu kış yaklaşık 1980'e kadar sürdü ve YZ topluluğuna önemli bir ders verdi: Gerçekçi beklentiler kalıcı ilerlemenin anahtarıdır.
Neocognitron: CNN'lerin atasası
1980'de Japon araştırmacı Kunihiko Fukushima, zamanının çok ötesinde bir sinir ağı tanıttı: Neocognitron. İlham kaynağı doğaydı — daha doğrusu Nobel ödüllü Hubel ve Wiesel'in kediler üzerinde incelediği görme korteksiydi. Orada basit ve karmaşık hücreler görsel uyaranları kademeli olarak işliyordu. Fukushima bu ilkeyi yeniden yarattı: katmanları özellikleri adım adım tanıyan çok katmanlı bir ağ — hem de görüntünün neresinde göründüklerinden bağımsız olarak. Böylece Neocognitron, 2012'den bu yana görüntü tanımaya hakim olan Evrişimsel Sinir Ağlarının (CNN) temel fikirlerini önceden ortaya koydu. Doğru bir değerlendirme için: Neocognitron henüz geri yayılım (Backpropagation) kullanmıyordu ve modern CNN'ler gibi eğitilemiyordu. Mimariyi pratikte öğrenebilir ağlara ancak geri yayılım (1986) ve Yann LeCun'ün LeNet'i (1989) dönüştürdü. Fukushima'nın öncü rolü bugün hâlâ çoğu zaman küçümsenmektedir.
1980'lerin uzman sistemler dönemi
1980'li yıllar, YZ'nin ilk kez ticari açıdan başarılı olduğu uzman sistemlerin altın çağını işaret eder. Dünya genelindeki şirketler, uzmanlaşmış alanlarda insan uzmanlığını taklit eden bu kural tabanlı YZ programlarını benimsedi. YZ sektörü 1980'deki birkaç milyon dolardan 1988'de milyarlara ulaştı. Fortune 500 şirketlerinin üçte ikisi bu teknolojiyi kullandı. MYCIN gibi sistemler çalışmalarda terapötik önerileri için yaklaşık %65 kabul oranına ulaştı — fakülte uzmanlarıyla aynı düzeyde; ne var ki MYCIN hiçbir zaman klinik kullanıma girmedi. Ancak düzinelerce şirketin iflas etmesi ve teknolojinin sınırlarının belirginleşmesiyle birlikte patlama, klasik bir ekonomik balon kalıbıyla sona erdi.
Hopfield Ağları: Çağrışımsal Bellek
Çağrışımsal depolama yetenekleri yoluyla sinir ağlarının yeniden doğuşu. 1982'de John Hopfield, PNAS'ta çığır açan 'Neural networks and physical systems with emergent collective computational abilities' makalesini yayınladı. Onun yeniliği, nörobiyoloji ile istatistiksel fiziği birleştirmesinde yatıyordu: Hopfield ağları, eksik veya gürültülü girişlerden tam kalıpları yeniden oluşturan içerik adreslenebilir bellek olarak çalışır. Simetrik çift yönlü bağlantılara sahip tekrarlayan mimari, Lyapunov enerji fonksiyonu aracılığıyla sabit nokta çekerlerine yakınsar. Sistem, en yakın depolanmış anıya 'yokuş aşağı yuvarlanır'. Hopfield'ın çalışması, sinir ağlarına olan ilgiyi yeniden alevlendirdi ve modern RNN'ler için teorik temel attı. Hebbian öğrenme kuralı, kalıpların çağrışımsal depolanmasını sağladı - biyolojik ve yapay bellek sistemlerinin anlaşılması için bir atılım.
Geri Yayılım Algoritması
Modern makine öğreniminin zarif bir eğitim algoritmasıyla doğuşu. Ekim 1986'da David Rumelhart, Geoffrey Hinton ve Ronald Williams, Nature dergisinde 'Learning representations by back-propagating errors' (Hataları geri yayarak temsilleri öğrenme) adlı makaleyi yayımladı. Bu algoritma, çok katmanlı ağlarda bağlantı ağırlıklarını ayarlamak için verimli bir yöntem sunarak yapay sinir ağlarının eğitimini önemli ölçüde değiştirdi. Yöntem, gerçek ve istenen çıktı arasındaki farkı en aza indirmek için bağlantı ağırlıklarını tekrar tekrar ayarlar. Temel yenilik, görevin önemli özelliklerini otomatik olarak tanıyan gizli katmanları eğitme kapasitesindeydi. Matematiksel temeller daha önce türetilmişti - Paul Werbos (1974) ve Seppo Linnainmaa (1970) tarafından - ancak bu makale Geri Yayılımı (Backpropagation) geniş kitlelere tanıttı ve etkisini ikna edici biçimde ortaya koydu. Geri yayılım, makine öğreniminin çalışma motoru haline geldi ve günümüzdeki tüm modern Derin Öğrenme (Deep Learning) uygulamalarını mümkün kılmaktadır.
İkinci YZ Kışı
Özelleşmiş YZ donanım pazarının çöküşü ve uzman sistemlerin başarısızlığı. 1987'de Apple ve IBM bilgisayarları pahalı YZ'ye özgü sistemlerden hem daha uygun fiyatlı hem de daha güçlü hale gelince Lisp makine pazarı çöktü. XCON gibi uzman sistemler gerçek dünya uygulamaları için fazla bakım gerektiren ve esnek olmayan yapıları nedeniyle yetersiz kaldı. Yeni IPTO Direktörü Jack Schwartz, uzman sistemleri 'zeki programlama' olarak nitelendirdi ve YZ finansmanını 'derin ve acımasızca' kesti. Lisp makine üreticilerinin düşüşü sonraki yıllara yayıldı; pazar lideri Symbolics ancak 1993'te iflas başvurusunda bulundu. Bu durum, 1974'tekinden daha uzun ve daha derin bir kışa yol açtı. Bu kış yaklaşık 1993'e kadar sürdü ve uzman sistemler ile özelleşmiş YZ donanımı etrafındaki ticari balon sona erdi; sembolik YZ ise bir araştırma yönelimi olarak varlığını sürdürdü.
UCI ML Repository: Veri kümesi kütüphanesi
Standartlaştırılmış karşılaştırma veri kümeleri aracılığıyla makine öğrenimi araştırmalarının demokratikleşmesi. 1987'de UCI doktora öğrencisi David Aha ve arkadaşları, ampirik YÖ algoritması analizi için veri tabanları, alan teorileri ve veri üreticilerinden oluşan bir koleksiyon olan UCI Makine Öğrenimi Repository'sini bir FTP arşivi olarak kurdu. Bu girişim, büyüyen YÖ topluluğu için standartlaştırılmış, serbestçe erişilebilir veri kümelerinin kritik eksikliğini giderdi. Repository, dünya genelinde öğrencilerin, öğretim üyelerinin ve araştırmacıların yüksek kaliteli karşılaştırmalara erişimini sağlayarak YÖ veri kümeleri için birincil kaynak haline geldi. Yıllar içinde on binlerce kez atıfta bulunuldu ve bu sayede tüm bilişimin en çok kullanılan kaynakları arasına girdi. Bugün Center for Machine Learning and Intelligent Systems tarafından yönetilen UCI ML Repository, sağlık, finans ve sayısız diğer alanlardan veri kümeleri sunmaktadır. Repository, YÖ eğitimini ve araştırmasını temelden demokratikleştirdi.
Bayes ağları: Belirsizlik altında çıkarsama
Yapay sinir ağları ve uzman sistemler dikkat çekişmek için mücadele ederken, Judea Pearl UCLA'da YZ'nin üçüncü büyük direğini inşa ediyordu: belirsizlik altında çıkarsama. Probabilistic Reasoning in Intelligent Systems (1988) adlı kitabında Bayes ağlarını popüler hale getirdi — düğümlerin değişkenler, kenarların ise olasılığa dayalı bağımlılıklar olduğu grafikler. Uzman sistemlerin katı eğer-o zaman kuralları ve geçici güven faktörleri yerine, bu ağlar bilgi ile belirsizliği temiz biçimde birleştirmeyi ve verimli çıkarsama yapmayı sağlıyordu. Bayes ağları, 1990'lar ve 2000'lerin YZ ile makine öğrenimini şekillendirdi; Pearl 2011'de Turing Ödülü'nü aldı ve daha sonra verilerin arkasındaki nedeni araştıran nedensel çıkarsama alanına yöneldi. Dürüst bir değerlendirme yapacak olursak: Bayes teoremi 18. yüzyıldan kalmaktadır; Pearl'ün başarısı olasılığı icat etmek değil, olasılıksal çıkarsamayı YZ için yapılandırılabilir ve hesaplanabilir hale getirmekti.
Evrensel Yaklaşım Teoremi
Yapay sinir ağlarının teorik gücüne ilişkin matematiksel kanıt. 1989'da Kurt Hornik, Maxwell Stinchcombe ve Halbert White, Neural Networks dergisinde 'Multilayer feedforward networks are universal approximators' (Çok katmanlı ileri beslemeli ağlar evrensel yaklaşımlayıcılardır) adlı temel makaleyi yayımladı. Titiz kanıtları şunu ortaya koydu: Yeterli sayıda nöron içeren tek bir gizli katman bile herhangi bir Borel-ölçülebilir fonksiyonu istenen hassasiyette yaklaşımlayabilir. Bu teorik temel, yapay sinir ağlarının kullanımını matematiksel açıdan meşrulaştırdı ve araştırmacılara yeterince büyük ağların gerçek verilerdeki karmaşık, doğrusal olmayan ilişkileri modelleyebileceğini güvence altına aldı. Paralel olarak George Cybenko ve Funahashi farklı tekniklerle benzer çalışmalar yayımladı. Teorem, gizli katmanın genişletilmesi yoluyla evrenselliği ortaya koydu ve sonraki tüm Derin Öğrenme gelişmeleri için teorik dayanak haline geldi. Hornik ve arkadaşları, 1990'lardaki yapay sinir ağı Rönesansını mümkün kılan matematiksel güveni sağladı.
World Wide Web: WWW'nin İcadı
Dünyayı birbirine bağlayan ve modern YZ veri kaynaklarının temelini oluşturan icat. 12 Mart 1989'da Tim Berners-Lee, CERN'de 'Bilgi Yönetim Sistemi' adlı önerisini sundu; başlangıçta 'Mesh' olarak adlandırılan bu proje, daha sonra 'World Wide Web' adını aldı. İngiliz bilim insanı olarak Berners-Lee, dünya genelindeki bilim insanları arasında otomatik bilgi alışverişinin gerekliliğini fark etti. 1990 yılının sonuna kadar üç temel web teknolojisini geliştirdi: HTML (Hiper Metin İşaretleme Dili), HTTP (Hiper Metin Aktarım Protokolü) ve URI/URL. İlk web sunucusu info.cern.ch, ilk tarayıcı/editör 'WorldWideWeb.app' ile birlikte bir NeXT bilgisayarında çalıştı. 1991'de web kamuya açıldı. Yaklaşık 10 web sitesinden (1992) birkaç yüz bine (1996) kadar üstel büyüme, sonraki YZ sistemleri için veri altyapısını oluşturdu. Web olmasaydı Common Crawl veri kümeleri ve Büyük Dil Modelleri de olmazdı.
LeNet ve CNN'lerin doğuşu
Evrişimli Sinir Ağlarının (CNN) pratikte ilk başarılı uygulaması. 1989'da Yann LeCun, AT&T Bell Labs'ta el yazısı tanıma için geri yayılım (Backpropagation) ile CNN mimarisini ilk kez bir araya getirdi. LeNet ailesinin atası olarak bilinen bu sistem, ABD Posta Servisi için el yazısıyla yazılmış posta kodlarını kayda değer bir doğrulukla tanıdı: eğitim verilerinde yaklaşık yüzde 1, daha önce görülmemiş test verilerinde ise yaklaşık yüzde 5 hata oranı; ağın güvensiz durumları reddetmesine izin verildiğinde kalan rakamlardaki hata yaklaşık yüzde 1'e düştü. Bu başarı, CNN'lerin geleneksel yaklaşımlara karşı pratik üstünlüğünü kanıtladı ve modern Bilgisayarlı Görü'nün (Computer Vision) temelini attı. Yapay sinir ağlarının yalnızca teorik yapılar olmadığını, gerçek iş problemlerini çözebileceğini de gösterdi. Mimari birçok iyileştirme döngüsünden geçti ve 1998'de MNIST üzerinde yüzde 99,05 doğrulukla LeNet-5 olarak sonuçlandı. Bu çalışma tüm modern CNN mimarilerinin temelini oluşturdu.
TD-Gammon: Kendisiyle oynayarak öğrenmek
AlphaGo'dan çok önce, IBM'de bir program Pekiştirmeli Öğrenmenin neler yapabileceğini gösterdi: 1992'de Gerald Tesauro, Backgammon oynamayı öğrenen bir sinir ağı olan TD-Gammon'ı tanıttı. Dikkat çekici olan öğrenme yöntemiydi. TD-Gammon, neredeyse yalnızca kendisiyle yüz binlerce parti oynayarak ve sonuçtan öğrenerek eğitildi — tahminleri adım adım düzelten Zamansal Fark (Temporal-Difference) yöntemiyle. Kimsenin ona iyi hamleler göstermesine gerek yoktu. Ağ, neredeyse dünya sınıfı düzeyine ulaştı ve hatta insan profesyonellerin ardından benimsediği açılış hamlelerini bile keşfetti. Doğru bir değerlendirme için: Bu etkileyici başarı uzun süre diğer oyunlara aktarılamadı. Nedenlerinden biri zardır: Backgammon bir şans oyunudur ve tesadüf, pratik yaparken otomatik olarak çeşitlilik sağlar — deterministik oyunların (satranç veya Go gibi) öz oyun için sahip olmadığı bir avantaj.
Q-Öğrenimi: Pekiştirmeli öğrenmenin temeli
1992'de Chris Watkins ve Peter Dayan, YZ dünyasını önemli ölçüde dönüştürecek bir algoritma olan Q-Öğrenimi'nin matematiksel ispatını yayımladı. Watkins, temel fikri daha önce 1989'da King's College Cambridge'deki doktora tezinde 'Gecikmeli Ödüllerden Öğrenme' (Learning from Delayed Rewards) adıyla geliştirmişti. Q-Öğrenimi, temel bir sorunu çözüyordu: Bir ajan, çevresinin modeline ihtiyaç duymadan nasıl en uygun biçimde hareket edebilir? Yanıt zarif bir fikirdi: Her durum-eylem çiftine bir değer atayan Q-işlevinin adım adım optimize edilmesi. 1992'deki yakınsama kanıtı şunu gösterdi: Sonsuz keşif koşulunda Q-Öğrenimi, her sonlu Markov Karar Süreci için en uygun stratejiyi garanti eder. Bu model içermeyen yöntem, modern pekiştirmeli öğrenmenin temel taşı hâline geldi. Robotikten finansal piyasalara, oyunlardan otonom sistemlere - Q-Öğrenimi her yerdedir. 2013 sonu itibarıyla DeepMind, Derin Q-Ağları (Deep Q-Networks - DQN) adıyla derin bir türevini sundu (Nature yayını 2015) ve Atari oyunlarının büyük çoğunluğunda insan düzeyinde ya da insanüstü performans elde etti. Q-Öğrenimi, özellikle Derin Q-Ağı biçimiyle, bugün sayısız YZ sisteminin temel yapı taşı olmaya devam etmektedir.
Penn Treebank: Sözdizimsel açıklama NLP'yi dönüştürüyor
Modern ayrıştırma araştırmaları için temel derlemin oluşturulması. 1993'te Mitchell Marcus, Beatrice Santorini ve Mary Ann Marcinkiewicz, Computational Linguistics dergisinde 'İngilizce'nin Geniş Çaplı Açıklamalı Bir Derleminin Oluşturulması: Penn Treebank' başlıklı çığır açan makaleyi yayımladı. 4,5 milyonun üzerinde Amerikan İngilizcesi sözcüğü kelime türleriyle etiketlendi; bunların yaklaşık 3 milyonu ayrıntılı sözdizimsel (iskelet ayrıştırmalı) açıklamaya tabi tutuldu. Bu çalışma bilgisayar dilbilimini önemli ölçüde dönüştürdü. İki aşamalı yöntem, otomatik POS etiketlemeyi insan düzeltmesiyle birleştirerek olağanüstü açıklama kalitesi sağladı. Yaklaşık yedi yıl süren proje (1989-1996) ve genişletilmiş Penn Treebank II boyunca toplamda 7 milyon POS etiketli sözcük, 3 milyon iskelet ayrıştırmalı metin ve 2 milyon Yüklem-Argüman yapısı üretildi. Penn Treebank, bilgisayar dilbiliminde deneysel yöntemleri yerleştirerek modern ayrıştırma algoritmalarının temelini oluşturdu. Bugün hala modern NLP sistemleri için ayrıştırma ve dil modelleme alanında önemli bir değerlendirme kıyaslaması olarak hizmet vermektedir.
AdaBoost: Zayıf öğreniciler güçleniyor
1995 yılında Yoav Freund ve Robert Schapire, makine öğrenimini önemli ölçüde değiştiren AdaBoost (Uyarlanabilir Güçlendirme) algoritmasını geliştirdi. Temel fikirleri şuydu: Yüksek hassasiyetli bir tahmin modeli oluşturmak için birçok 'zayıf öğrenici' bir araya getirin. Zayıf bir öğrenici rastgeleden yalnızca biraz daha iyi performans gösterir; ancak yüzlercesi bir arada kayda değer sonuçlar elde edebilir. AdaBoost uyarlanabilir biçimde çalışır: Hatalı tahminler bir sonraki turda daha fazla ağırlık alır. Böylece sistem zor vakalara otomatik olarak odaklanır. Kuramsal zariflik ikna ediciydi — Freund ve Schapire, her zayıf öğrenici rastgeleden daha iyi olduğu sürece eğitim hatasının üstel hızda sıfıra yaklaştığını kanıtladı. 2003 yılında bu güçlendirme kuramı temeli için teorik bilgisayar biliminin en prestijli ödüllerinden biri olan Gödel Ödülü'nü aldılar. AdaBoost biyoloji, bilgisayarlı görü ve konuşma tanımada pratik uygulama alanı buldu. Yöntem, modern topluluk yöntemlerinin temelini attı ve XGBoost'a uzanan güçlendirme algoritmalarının tüm bir kuşağına ilham verdi.
Destek Vektör Makineleri: Maksimum Margin Sınıflandırma
Gürbüz sınıflandırma için zarif geometrik yaklaşımların yerleştirilmesi. 1995 yılında Corinna Cortes ve Vladimir Vapnik, AT&T Bell Labs'ta 'Support-Vector Networks' başlıklı temel makaleyi Machine Learning dergisinde yayımladı. SVM'ler, Vapnik ve Chervonenkis'in 1964'teki erken Maksimum Margin yaklaşımını ('Generalized Portrait') 'Soft Margin' yeniliğiyle ayrıştırılamaz eğitim verileri için pratik bir çözüme dönüştürdü. Temel ilke, doğrusal olmayan girdi dönüşümleri aracılığıyla çok yüksek boyutlu özellik uzaylarında doğrusal karar yüzeylerinin inşasına dayanır. 1992'deki Kernel Trick, açık dönüşüm olmaksızın verimli hesaplama sağladı. SVM'ler sınıflar arasındaki margin'i (sınır boşluğunu) maksimize ederek yüksek genelleme kapasitesi sunar. On binlerce atıfla bu makale, Makine Öğrenimi'nin en çok alıntılanan çalışmalarından biri haline geldi ve Derin Öğrenme devrimine kadar sınıflandırma görevlerine hâkim oldu. SVM'ler yüksek boyutlu problemlerde gürbüz, yorumlanabilir ve etkili kalmaya devam etti.
WordNet: Dilin anlambilimsel ağı
Bilgisayar dilbilimi için anlambilimsel ağ olarak inşa edilmiş ilk sözcüksel sözlük. Kasım 1995'te George Miller, Communications of the ACM dergisinde 'WordNet: İngilizce için Sözcüksel Bir Veritabanı' başlıklı temel makalesini yayımladı ve 1986'dan bu yana geliştirdiği vizyonunu kamuoyuyla paylaştı. WordNet, İngilizce isimler, fiiller, sıfatlar ve zarfları anlambilimsel ve sözcüksel ilişkilerle birbirine bağlı bilişsel eş anlamlı gruplar olan synset'ler halinde düzenler. Bu yapı, insan anlambilimsel belleğini yansıtır ve anlamlı kelime ile kavram ağları üzerinde gezinmeyi mümkün kılar. Makine tarafından okunabilir sözlükler daha önce de vardı; ancak WordNet, söz varlığını tutarlı biçimde synset'lerden ve anlam ilişkilerinden oluşan bir ağ olarak modelleyen, böylece geleneksel sözlükbilimsel bilgiyi modern veri işlemeyle buluşturan ilk sözlük oldu. Miller ve Princeton ekibinin 1986'da başlattığı geliştirme sürecinin ürünü olan WordNet, ImageNet hiyerarşilerinin ve modern NLP sistemlerinin temelini oluşturdu. Anlambilimsel ağ yapısı, sonraki tüm Bilgi Grafiklerini (Knowledge Graph) ve gömme tekniklerini etkiledi.
PageRank: Google'ın milyar dolarlık algoritması
1996'da iki Stanford doktora öğrencisi, interneti önemli ölçüde dönüştürecek bir algoritma geliştirdi. Larry Page ve Sergey Brin, 'BackRub' projesini özgün bir fikirle başlattı: Bir web sayfasının önemi yalnızca içeriğiyle değil, ona yönlendiren bağlantılarla ölçülür. Bilimsel alıntılarda olduğu gibi, bir sayfaya ne kadar çok bağlantı verilirse o sayfa o kadar önemlidir. PageRank algoritması, bağlantı yapısı üzerinden rastgele gezinen bir 'Rastgele Gezgin' (Random Surfer) simüle eder. Bu rastgele gezgin bir sayfaya ne kadar sık ulaşırsa, sayfa o kadar önemli kabul edilir. Page'in web tarayıcısı Mart 1996'da kendi Stanford ana sayfasından çalışmaya başladı. PageRank makalesinin resmî yayını, Ocak 1998'de Stanford Teknik Raporu olarak gerçekleşti. Ağustos 1996'ya kadar BackRub, bağlantılar üzerinden keşfedilen - yalnızca bir kısmı taranmış olan - yaklaşık 75 milyon URL'yi bulmuştu. Stanford prototipinin erken sürümü bile Excite veya Yahoo! gibi dönemin arama hizmetlerinden daha ilgili sonuçlar veriyordu. Stanford patenti aldı ve elindeki 1,8 milyon Google hissesini 2005'te 336 milyon dolara sattı. Bir üniversite projesinden en başarılı arama motorlarından biri - ve modern web YZ'sinin temeli - doğdu.
Deep Blue Kasparov'u yendi
Bir makinenin turnuva koşullarında mevcut satranç dünya şampiyonunu yendiği ilk maç zaferi. 11 Mayıs 1997'de Deep Blue tarihe geçti: IBM süper bilgisayarı, New York'taki rövanş maçında Garry Kasparov'u 3,5:2,5 yenerek şampiyonu geçti. 1996'daki yenilginin ardından IBM sistemi köklü biçimde yeniden tasarladı: yeni satranç çipleri hızı saniyede 200 milyon pozisyona çıkardı, geliştirilmiş son oyun veri tabanları ve büyükusta danışmanlığı oyun gücünü artırdı. Belirleyici altıncı oyun yalnızca bir saat sürdü; bir at kurbanının ardından Kasparov hızla nesnel olarak kaybedilen bir konuma düştü ve 19. hamlede pes etti; bu, kariyerinde eşi görülmemiş bir andı. Zafer, bilgisayarların karmaşık stratejik düşünmedeki üstünlüğünü ilk kez ortaya koydu ve kamuoyunun YZ algısında bir dönüm noktası oldu. Deep Blue'nun 700.000 dolarlık ödülü, bu makine zekası zaferinin tarihi önemini pekiştirdi.
LSTM: Uzun Kısa Süreli Bellek
Kaybolan Gradyan Probleminin çözümü ve etkili dizi modellemenin doğuşu. 15 Kasım 1997'de Sepp Hochreiter ve Jürgen Schmidhuber, Neural Computation'da çığır açan 'Long Short-Term Memory' makalesini yayınladı. Yenilikleri, tekrarlayan ağların temel bir sorununu çözdü: uzun dizilerde gradyanların kaybolması. LSTM, binlerce zaman adımı boyunca sabit hata akışını sağlayan kapı mekanizmalarına sahip özel bellek hücreleri tanıttı. Çarpımsal kapılar, sabit hata döngeleme yoluna erişimi açmayı ve kapatmayı öğrenir. Zaman adımı başına O(1) karmaşıklık ve yerel öğrenme ile LSTM, o zamanki tüm RNN yöntemlerini açıkça geride bıraktı. Sistem, daha önce çözülemeyen karmaşık uzun zaman gecikmeli problemleri ilk kez çözdü. LSTM, modern konuşma tanıma, çeviri ve zaman serisi analizinin temeli oldu.
MNIST: Makine Öğrenimi Standardı
Bilgisayarla görme başlangıcı için en önemli kıyaslama veri kümelerinden birinin oluşturulması. 1998 yılında Yann LeCun, Corinna Cortes ve Christopher Burges, el yazısıyla yazılmış rakamlardan oluşan küratörlenmiş bir koleksiyon olan MNIST veri kümesini tanıttı; bu veri kümesi makine öğreniminin 'Hello World'ü haline geldi. NIST'in Special Database 3 ve Special Database 1'e dayanan MNIST, 70.000 normalleştirilmiş 28x28 piksel gri tonlamalı görüntü içerir: 60.000 eğitim için, 10.000 test için. Titiz ön işleme ve kenar yumuşatma, MNIST'i zahmetli veri hazırlığı gerektirmeden öğrenme amaçlı ideal kıldı. MNIST, 'Gradient-based learning applied to document recognition' (Proceedings of the IEEE, Kasım 1998) adlı makalede yayımlandı. Veri kümesi, sayısız makine öğrenimi algoritması için standart kıyaslama haline geldi ve nesiller boyu öğrencilerin bilgisayarla görme alanındaki ilk başarılarını deneyimlemesini sağladı. MNIST, makine öğrenimi eğitimini dünya genelinde demokratikleştirdi.
Rastgele Orman: Topluluk yöntemlerinde atılım
2001'de UC Berkeley'den Leo Breiman, tüm zamanların en çok alıntılanan makine öğrenimi makalelerinden birini yayımladı: 'Random Forests'. Bu algoritma, topluluk yöntemleri (Ensemble Methods) kavramını önemli ölçüde dönüştürdü ve modern istatistiğin en önemli araçlarından biri hâline geldi. Temel fikir parlak bir biçimde basitti: Tek bir karar ağacı yerine yüzlerce rastgele ağaç eğitilir ve hepsinin oyu alınır. Her ağaç, verilerin ve özelliklerin (Feature) yalnızca rastgele bir bölümünü görür - paketleme (Bagging), özellik rastgeleleştirmeyle birleştirilir. Sonuç: Ciddi ölçüde azaltılmış aşırı uydurma (Overfitting) sorunları ve olağanüstü tahmin doğruluğu. Breiman, ağaç gücü ve korelasyona dayalı genelleme hataları çerçevesinde teorik temeli de sağladı. Rastgele Orman, minimum ayar gerektiren ve azami performans sunan 'tak-çalıştır' makine öğrenimi algoritmalarından biri hâline geldi. Biyoinformatikten finansal piyasa analizine kadar Rastgele Orman bugün de sayısız uygulamaya egemendir ve topluluk yöntemlerini standart bir araç olarak yerleştirdi - daha sonra XGBoost'un ortaya çıktığı güçlendirme (Boosting) çizgisiyle eş zamanlı olarak.
Future of Humanity Institute kuruldu
YZ güvenliği araştırmalarının ve varoluşsal risk değerlendirmesinin kurumsallaşması. 2005 yılında Nick Bostrom, Oxford Üniversitesi'nde Future of Humanity Institute'ü çok disiplinli bir araştırma grubu olarak kurdu. Yalnızca üç araştırmacıyla başlayan FHI, parlak ve çoğunlukla alışılmışın dışındaki düşünürler için entelektüel bir çekim merkezine dönüştü ve yaklaşık 40 çalışana ulaştı. Enstitü yeni araştırma alanları oluşturdu: varoluşsal riskler, YZ Uyumu (AI Alignment), YZ Yönetişimi (AI Governance) ve uzun vadeli düşünce (Longtermism). Bostrom'un 'The fable of the dragon tyrant' (2005) ve 'What is a singleton?' (2006) gibi erken dönem yayınları YZ güvenliği üzerine düşünce biçimlerini şekillendirdi. 2024'teki kapanışına dek süren görece kısa 19 yıllık varlığına karşın FHI, insanlığın büyük sorularını ele alan yeni bir düşünme biçimi ve önemli ilerlemeler üretemeden kapısını kapattı. Oxford'un YZ güvenliği araştırmalarına akademik meşruiyet kazandırması alana bilimsel güvenilirlik sağladı.
DARPA Grand Challenge: Otonom sürüşün doğuşu
8 Ekim 2005'te 'Stanley' adlı mavi bir Volkswagen Touareg tarihe geçti. Sebastian Thrun liderliğindeki Stanford Racing Team, dünyanın ilk başarılı otonom araç yarışması olan DARPA Grand Challenge'ı kazandı. 2004'te tüm katılımcıların başarısız olduğu yarışmada (en iyi derece: 7,4 mil yani 11,9 km) Stanley, 212 km'lik çöl parkurunu 6 saat 53 dakikada tamamladı. Beş araç hedefe ulaştı, dördü süre sınırı içinde - bir önceki yılın sıfır başarısına kıyasla büyük bir ilerleme. Stanley, üç dar tünelden, 100'den fazla keskin virajdan ve uçurumlarıyla tehlikeli Beer Bottle Pass'tan geçti. Yenilik donanımda değil, yazılımdaydı: LiDAR sensörleri, makine öğrenimi ve insanın sürüş kararlarından oluşan bir günlük Stanley'e daha önce hiçbir robotun sahip olmadığı yetenekler kazandırdı. 2 milyon dolarlık ödül yalnızca bir başlangıçtı; Stanley, Tesla Autopilot, Google Waymo ve tüm otonom araç endüstrisinin temelini attı. Bugün Stanley, Smithsonian Müzesi'nde sergilenmektedir.
Derin İnanç Ağları: Derin Öğrenmenin rönesansı
Geoffrey Hinton, 2006'da Derin İnanç Ağları (Deep Belief Networks) üzerine kaleme aldığı önemli makaleyle YZ dünyasını değiştirdi. Yıllarca göz ardı edilen yapay sinir ağlarının ardından derin yapay sinir ağlarının nasıl verimli biçimde eğitilebileceğini gösterdi. Yeniliği şuydu: Kısıtlı Boltzmann Makineleri (Restricted Boltzmann Machines - RBM) ile katman katman ön eğitim. Bu 'açgözlü' öğrenme stratejisi ağırlık başlatma sorununu çözüyor ve Derin Öğrenmeyi pratikte uygulanabilir kılıyordu. Yöntem, RBM'leri üst üste yığıyor ve tüm ağ ince ayar yapılmadan önce her katmanı ayrı ayrı eğitiyor. Hinton'ın çalışması yapay sinir ağlarının yıllarca süren gölgede kalmasına son verdi ve rönesansını başlattı. 2009'da zaten Derin İnanç Ağları, konuşma tanımadaki hata oranlarını önemli ölçüde azalttı. 2012'de Hinton'ın ekibi ImageNet yarışmasını (ILSVRC) AlexNet ile kazandı; bu derin Evrişimli Sinir Ağı, GPU eğitimi, ReLU ve Dropout kullanıyor, artık Derin İnanç Ağlarının RBM ön eğitimine ihtiyaç duymuyordu. AlexNet, ikinci en iyi ekibin yüzde 26,2'sine karşılık yüzde 15,3 ilk-5 hata oranına ulaştı - kayda değer bir gelişme. Bu an, yapay sinir ağlarının yeniden doğuşunu ve günümüz YZ patlamasının başlangıcını işaret ediyor.
Netflix Ödülü: Milyoner yapan algoritma
2006 yılında Netflix, makine öğrenimini kamuoyuna açık bir kitlesel kaynak yarışmasıyla demokratikleştirdi: büyük bir veri kümesi ve 1 milyon dolar ödül. 2 Ekim 2006'da Netflix, bu milyon dolarlık meydan okumayı başlattı: Cinematch öneri algoritmasını yüzde 10 iyileştirebilecek kim vardı? Netflix, 17.770 film için 480.000 kullanıcıya ait 100 milyondan fazla değerlendirmeyle en büyük kamuya açık makine öğrenimi veri kümelerinden birini sundu. 186 ülkeden 40.000'i aşkın ekip kayıt yaptırdı; bunlardan 5.000'den fazlası nitelendirme sıralamasına girdi ve toplamda yaklaşık 44.000 geçerli çözüm gönderdi. 'BellKors Pragmatic Chaos' ekibi 26 Haziran 2009'da yüzde 10 sınırını ilk geçen takım olarak 30 günlük son çağrıyı başlattı; bu süreç 26 Temmuz 2009'da sona erdi. Yüzde 10,06 iyileştirmeyle yarışmanın galibi 21 Eylül 2009'daki ödül töreninde resmî olarak ilan edildi. Başarı formülü: Matris çarpanlara ayırma (Matrix Factorization) ve Kısıtlı Boltzmann Makinelerinin (Restricted Boltzmann Machines) birleşiminden oluşan bir topluluk yaklaşımıydı. Yarışma, işbirlikçi filtrelemeyi (Collaborative Filtering) önemli ölçüde dönüştürdü ve karmaşık makine öğrenimi sorunları için kitlesel kaynak gücünü kanıtladı. Netflix kazanan algoritmaları hiçbir zaman üretime almasa da (uygulama maliyetleri çok yüksekti) yarışma, modern öneri sistemi endüstrisini kalıcı biçimde etkiledi.
Common Crawl Foundation kuruldu
Yapay zeka için eğitim verisi olarak internetin demokratikleştirilmesi. Gil Elbaz, 2007'de Common Crawl Foundation'ı şu misyonla kurdu: tüm kamusal interneti arşivlemek ve ücretsiz erişime açmak. 2008'de başlayan sistematik tarama faaliyeti, o tarihten bu yana her ay milyarlarca sayfa büyüyen bir külliyat oluşturdu; bu külliyat 2024 itibarıyla 100 milyarı aşkın web sayfası ve birkaç Petabayt veri büyüklüğüne ulaştı. Bu koleksiyon, Büyük Dil Modellerinin (Large Language Model) en önemli eğitim kaynağı haline geldi ve GPT-3, ChatGPT, LLaMA ile diğer modern YZ sistemlerinin geliştirilmesini mümkün kıldı. Common Crawl, kâr amacı gütmeyen yapısı ve ücretsiz erişimiyle ticari yaklaşımlardan ayrıştı. Filtrelenmemiş ham veri koleksiyonu işleme gerektirse de kapsamlı dil verilerine erişimi demokratikleştirdi ve YZ araştırmalarını tescilli veri setlerine olan bağımlılıktan kurtardı.
CUDA: Grafik kartı YZ motoruna dönüşüyor
2012'nin YZ devrimi yalnızca algoritmalar üzerinde değil — grafik kartları üzerinde de çalıştı. Bunun zeminini 2007'de NVIDIA, CUDA ile hazırladı: C benzeri bir dilde normal programları doğrudan GPU üzerinde çalıştırmayı mümkün kılan bir platform — artık yalnızca grafik değil. 2006 sonunda G80 çipiyle duyurulan, Şubat 2007'de kamuya beta sürümü olarak sunulan ve Haziran 2007'de sürüm 1.0 olarak yayımlanan CUDA, grafik işlemcilerin muazzam paralelliğini ilk kez geniş kitlelerin erişimine açtı. Bu durum, hesaplamasının özü matris çarpımlarından oluşan yapay sinir ağlarına mükemmel biçimde uyar — binlerce küçük işlem aynı anda. Beş yıl sonra Krizhevsky, Sutskever ve Hinton, AlexNet'i CUDA ile iki NVIDIA GTX 580 kartı üzerinde eğitti — Derin Öğrenmeyi ateşleyen atılım buydu. 2014'ten itibaren NVIDIA'nın cuDNN'i, günümüzde TensorFlow, PyTorch ve diğerlerinin üzerinde çalıştığı optimize edilmiş yapı taşlarını sundu. Dürüst bir değerlendirme yapacak olursak: CUDA, GPGPU'yu icat etmedi (programlanabilir shader'lar 2001'den, BrookGPU 2004'ten beri mevcuttu) ve Derin Öğrenmeye tek başına yol açmadı — ama gerekli hesaplama gücünü erişilebilir kıldı ve bu olmadan geri kalanı mümkün olmazdı.
Zero-Shot Learning: Verisiz öğrenme
Anlamsal betimlemeler aracılığıyla görülmemiş sınıfların öğrenilmesinin biçimselleştirilmesi. Temmuz 2008'de Hugo Larochelle, Dumitru Erhan ve Yoshua Bengio, AAAI konferansında 'Zero-data Learning of New Tasks' adlı çalışmalarını yayımladı ve teorik öncül biçimlendirmeyi ortaya koydu. 'Zero-Shot Learning' adını ise 2009 yılında iki farklı grup belirledi: Palatucci ve meslektaşları NIPS 2009'da 'Zero-Shot Learning with Semantic Output Codes' çalışmasıyla ve Lampert ile meslektaşları CVPR 2009'da öznitelik tabanlı yaklaşımlarıyla. Temel problem şuydu: Bir model, yalnızca betimlemeleri olan ve hiç eğitim verisi bulunmayan sınıfları nasıl sınıflandırabilir? Çözüm, anlamsal gömme (Semantic Embedding) ve aktarım öğreniminde (Transfer Learning) yatıyordu; yani eğitilmiş modellerin yeni görevler için yeniden kullanılmasında. Larochelle'in biçimlendirmesi, eğitim verileriyle tam olarak kapsanamayan çok büyük sınıf kümelerini ele aldı. Deneysel analizler bu bağlamda önemli genelleme yeteneklerini kanıtladı. Bu çalışma, GPT-3, GPT-4 ve diğer Büyük Dil Modellerindeki modern az atışlı (Few-Shot) ve sıfır atışlı (Zero-Shot) yeteneklerin kavramsal temelini attı. Zero-Shot Learning, ölçeklenebilir YZ sistemleri için kilit bir teknoloji haline geldi.
CIFAR Veri Setleri Oluşturuldu
Bilgisayarlı Görü için temel bir kıyaslamanın oluşturulması. 2009'da Toronto Üniversitesi'nden Alex Krizhevsky, Vinod Nair ve Geoffrey Hinton, CIFAR-10 ve CIFAR-100 veri setlerini geliştirdi.
ImageNet: Her şeyi değiştiren veri kümesi
Derin Öğrenme gelişimini mümkün kılan veri kümesinin oluşturulması. 2009 yılında Fei-Fei Li, ekibiyle birlikte ImageNet makalesini sunarak Bilgisayarla Görme alanını dönüştürmesi hedeflenen bir görsel veritabanı tanıttı; lansmanında yaklaşık 3,2 milyon elle notlandırılmış görüntü ve yaklaşık 5.200 kategori bulunuyordu. Tam kapasitesine ulaştığında ImageNet, WordNet hiyerarşilerine dayanan 14 milyondan fazla elle notlandırılmış görüntü ve yaklaşık 22.000 kategoriyi kapsadı; böylece kritik darboğazı yani büyük ve yüksek kaliteli eğitim verisi eksikliğini giderdi. Notlandırma süreci boyunca Amazon Mechanical Turk aracılığıyla 167 ülkeden yaklaşık 49.000 çalışan projeye katkıda bulundu — örnek almayacak kadar iş birlikçi bir proje. Miami Beach'teki bir konferans merkezinin köşesindeki poster olarak başlayan bu girişim yıllık ImageNet Challenge'a (ILSVRC) dönüştü ve modern YZ gelişiminin üç itici gücünden biri haline geldi. ImageNet, AlexNet'in 2012 atılımını mümkün kıldı ve otonom araçlar, yüz tanıma ve tıbbi görüntüleme için temel oluşturdu.
DeepMind Kuruldu
Manşetlere çıkacak bir yapay zeka laboratuvarının doğuşu. Eylül 2010'da Demis Hassabis, Shane Legg ve Mustafa Suleyman, Londra'da DeepMind Technologies'i kurdu. Hedefleri: Nörobilim ve makine öğrenmesi bulgularını birleştirerek Genel Yapay Zeka geliştirmek. Eski bir satranç dahi ve oyun geliştiricisi olan Hassabis, benzersiz bir vizyon getirdi: Yapay zeka insan beyni gibi öğrenmeliydi. 2014'te Google, girişimi tahmini 500 milyon dolara satın aldı - tarihin en büyük yapay zeka satın almalarından biri. DeepMind daha sonra AlphaGo, AlphaFold ve diğer atılımlarla dünyayı şaşırtacaktı.
ImageNet Challenge: Yarışma başlıyor
YZ tarihinin en önemli Bilgisayarla Görme kıyaslama testinin kurulması. 2010 yılında ilk ImageNet Large Scale Visual Recognition Challenge (ILSVRC) başladı ve sonraki on yıl boyunca Bilgisayarla Görme araştırmalarını şekillendirecek standart bir yarışma yarattı. Yalnızca 20 sınıftan oluşan PASCAL VOC gibi dönemin mevcut kıyaslama testlerini 1.000 nesne kategorisi ve 1,2 milyon eğitim görüntüsüyle çok geride bırakan bu yarışma, bugün de standart olmaya devam eden Top-1 ve Top-5 hata oranı metriklerini değerlendirme kriteri olarak benimsedi. 2010'dan 2017'ye kadar kazananların Top-5 doğruluk oranı yüzde 71,8'den yüzde 97,3'e yükselerek insan performansını aştı. Yıllık yarışma, dünya genelinde 50'den fazla kurumu bir araya getirerek 2012'de AlexNet'in önemli atılımıyla sonuçlanan ilerlemeyi hızlandırdı — Top-5 hata oranı yalnızca yüzde 15,3 (yaklaşık yüzde 84,7 doğruluk).
Watson, Jeopardy Şampiyonlarını Yendi
IBM'in Doğal Dil İşleme alanındaki zaferi ve makine dili anlayışının kanıtı. 16 Şubat 2011'de IBM'in Watson sistemi, televizyonda yayınlanan Jeopardy yarışmasında tüm zamanların en başarılı iki şampiyonunu yendi: Ken Jennings (74 ardışık galibiyet) ve Brad Rutter (2005 yılına kadar 3,25 milyon dolar kazanç). David Ferrucci'nin DeepQA ekibi tarafından geliştirilen Watson; 16 terabayt RAM ve 2.880 POWER7 işlemci çekirdeğine sahip 10 rafta konumlanan 90 IBM Power 750 sunucusundan oluşuyordu. Yenilik, Doğal Dil İşleme alanındaydı: Watson, doğal dildeki soruları internet bağlantısı olmadan anlıyor ve herhangi bir standart arama teknolojisinden daha kesin yanıtlar veriyordu. 77.147 dolarlık kazancıyla (hayır kurumuna bağışlandı) Watson, insan rakiplerini 50.000 dolardan fazla farkla geride bıraktı. Ken Jennings'in ünlü kapanış notu 'I for one welcome our new computer overlords', bu NLP dönüm noktasının tarihsel önemini vurguladı.
Siri'nin Lansmanı: Sesli asistan akıllı telefonlarda ana akıma iniyor
Apple, 4 Ekim 2011'de iPhone 4S ile birlikte Siri'yi tanıtarak insan-bilgisayar etkileşimini önemli ölçüde değiştirdi. Akıllı telefona derinlemesine entegre edilen ilk kitlesel sesli asistan olarak Siri, YZ'yi milyonlarca insanın cebine taşıdı. 'Bugün hava nasıl?' ya da 'Bana iyi bir Yunan restoranı bul' - artık kullanıcılar telefonlarıyla doğal bir şekilde konuşabiliyordu. Siri tamamen yeni bir buluş değildi: 2010'dan beri Siri Inc.'in (Apple tarafından satın alınan) bağımsız bir iOS uygulaması olarak mevcuttu ve Google'ın Voice Actions ile halihazırda sesli arama sunuyordu. Ancak Apple'ın işletim sistemine sorunsuz entegrasyonu sesli asistanı bir kitle fenomenine dönüştürdü. Siri, SRI International ve DARPA'nın CALO projesindeki onlarca yıllık araştırmaya dayanıyordu. Susan Bennett, 2005'te farkında olmadan orijinal sesi zaten kaydetmişti. Hastalığının son günlerinde olan Steve Jobs, lansman etkinliğinde artık sahne almadı - Tim Cook iPhone 4S'i tanıttı. Siri'nin tanıtımından bir gün sonra Jobs hayatını kaybetti. Siri mükemmel değildi - eleştirmenler katı komutları ve esneklik eksikliğini eleştirdi. Ancak hedef gerçekleşmişti: YZ ana akıma girmişti. Siri, Amazon Alexa'ya, Google Assistant'a ve Microsoft Cortana'ya ilham verdi. Sesli asistanlar çağı başlamıştı.
Dropout düzenlileştirmesi
Geoffrey Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever ve Ruslan Salakhutdinov, Temmuz 2012'de Dropout düzenlileştirmesini icat ederek yapay sinir ağlarının eğitimini önemli ölçüde dönüştürdü. Bu zarif teknik, eğitim sırasında nöronların yaklaşık yarısını rastgele devre dışı bırakarak karmaşık ortak uyumları önler ve böylece aşırı uydurmanın (Overfitting) önüne geçer. Her nöron, belirli özellik kombinasyonları yerine sağlam, genel kullanışlı tanıma kalıpları öğrenir. 3 Temmuz 2012'de arXiv'de yayımlanan yöntem, birkaç ay sonra AlexNet'in ILSVRC 2012'deki ImageNet zaferinin yapı taşlarından biri haline geldi — GPU eğitimi, ReLU aktivasyonu ve ağ derinliğinin yanı sıra — ve modern Derin Öğrenme mimarilerinin çoğunda standart haline geldi. Dropout, dil ve nesne tanımada yeni rekorlar kırdı ve derin ağların temel aşırı uydurma sorununu çözdü.
AlexNet'in başarısı
Derin öğrenme ve modern YZ için dönüm noktası. 30 Eylül 2012'de ImageNet Challenge sonuçları yayımlandı; AlexNet bu yarışmayı o denli büyük bir farkla kazandı ki bilgisayarlı görü kalıcı biçimde değişti. Toronto Üniversitesi'nden Alex Krizhevsky, Ilya Sutskever ve Geoffrey Hinton, rakiplerini kayda değer 10,9 yüzde puanıyla geride bırakan bir CNN mimarisi geliştirdi; bu, bilim dünyasında olağanüstü kabul edilen bir gelişmeydi. 60 milyon parametresi ve ReLU aktivasyonları ile Dropout katmanları gibi yenilikçi teknikleriyle AlexNet, derin öğrenmenin pratik üstünlüğünü çarpıcı biçimde ortaya koydu. Bu, ilginç bir teorinin baskın bir teknolojiye dönüştüğü andı. Yann LeCun bunu 'bilgisayarlı görü tarihinde tartışmasız bir dönüm noktası' olarak nitelendirdi. GPU tabanlı uygulama, modern YZ geliştirmenin önünü açtı.
Derin Öğrenme devrimi
Modern YZ çağını başlatan yıl: veri setleri, GPU gücü ve sinir ağı mimarilerinin buluşması. 2012, Derin Öğrenmenin baskın YZ teknolojisi olarak yükselişini işaret ediyor; bunu AlexNet'in etkileyici ImageNet zaferi hızlandırdı. Üç gelişmenin bir araya gelmesi bunu mümkün kıldı: Fei-Fei Li'nin ImageNet veri seti büyük ölçekli etiketlenmiş eğitim verisi sağladı, GPU hesaplama derin ağlar için gerekli işlem gücüne ulaştı ve ReLU aktivasyonları ile Dropout düzenlemesi gibi geliştirilmiş eğitim yöntemleri eski kısıtlamaların üstesinden geldi. Geoffrey Hinton'ın ekibi - Alex Krizhevsky, Ilya Sutskever ve Hinton'ın kendisi - Krizhevsky'nin ebeveyn evinde iki Nvidia kartıyla Derin Sinir Ağlarının pratikte uygulanabilir olduğunu kanıtladı. AlexNet, Bilgisayarlı Görü için bir dönüm noktası oldu. Bu başarı Derin Öğrenmeye olan ilgiyi önemli ölçüde artırdı ve VGG, ResNet ile günümüz Üretici YZ gelişmelerinin önünü açtı.
Word2Vec: Kelimeler vektör olarak
Anlambilimsel vektör uzayları aracılığıyla kelime temsilinin dönüşümü. 16 Ocak 2013'te Tomas Mikolov, Google ekibiyle birlikte 'Vektör Uzayında Kelime Temsillerinin Verimli Tahmini' başlıklı çığır açan makalesini yayımladı. Word2Vec, kelimeleri anlambilimsel ve sözdizimsel ilişkileri yakalayan yoğun, düşük boyutlu vektörler (tipik olarak 100 ila 300 boyut) olarak temsil ederek Doğal Dil İşlemeyi (NLP) dönüştürdü; bu yaklaşım, önceki yöntemlerin devasa ve seyrek One-Hot vektörleriyle köklü bir kopuşu simgeliyordu. İki mimari varyant olan CBOW (Continuous Bag of Words) ve Skip-Gram, benzer kelimelerin benzer bağlamlarda geçtiğini büyük metin korpuslarından öğrendi. Ünlü örnek, vektör aritmetiğini şöyle gösteriyordu: Kral - Adam + Kadın = Kraliçe. 49.000'i aşkın atıfıyla Mikolov'un çalışması, NLP alanının en etkili makalelerinden biri oldu. Word2Vec, tüm modern gömme (embedding) tekniklerinin temelini attı ve vektör uzaylarında anlambilimsel akıl yürütmeyi mümkün kıldı. Bu yenilik, Transformer mimarilerinin ve modern Büyük Dil Modellerinin (LLM) önünü açtı.
VAE: Değişimsel Otokodlayıcılar
Gizli uzay modellemesi aracılığıyla olasılıksal üretici modellerin geliştirilmesi. 20 Aralık 2013'te Diederik Kingma ve Max Welling, 'Auto-Encoding Variational Bayes' (Otokodlama Değişimsel Bayes) adlı makaleyi yayımladı. VAE'ler, kodlayıcı ve kod çözücü ağları olasılıksal bir gizli uzay - tipik olarak çok değişkenli Gauss dağılımı - aracılığıyla birbirine bağlar. Deterministik otokodlayıcıların aksine kodlayıcı, verileri tek nokta yerine dağılım olarak kodlar; bu da sürekli enterpolasyon ve veri üretimini mümkün kılar. Yeniden parametreleştirme (Reparameterization) hilesi, rastgeleliği model girdisi olarak türevlenebilir kılar ve standart gradyan optimizasyonuna olanak tanır. Deneylerinde VAE'ler el yazısıyla yazılmış rakamlar (MNIST) ve küçük yüz görüntüleri (Frey Faces) üretti - henüz bulanık ancak değişimsel çıkarımın (variational inference) uygulanabilirliğini kanıtlayan öncü bir çalışma olarak. Bu çalışma modern üretici YZ'nin temelini attı ve Diffusion Model'lere kadar sonraki olasılıksal yaklaşımları şekillendirdi.
Adam: Derin öğrenmenin standart optimize edicisi
Bir yapay sinir ağının öğrenebilmesi için bir optimize edicinin milyonlarca ayar vidasını adım adım doğru yönde çevirmesi gerekir. 2014'te Diederik Kingma ve Jimmy Ba, kısa sürede sektörün en yaygın kullanılan yöntemi haline gelen bir yaklaşım sundu: İngilizce Adaptive Moment Estimation ifadesinden türetilen (ancak bir kısaltma olmayan) Adam. Adam'ın püf noktası, her bir parametre için otomatik olarak ayarlanan ayrı bir öğrenme hızı tutmasıdır. Bunun için iki köklü fikri birleştirir: mevcut yönü koruyan Momentum ve RMSProp tarzı uyarlamalı adım büyüklükleri. Sonuç olarak ağlar, öğrenme hızı üzerinde zahmetli denemeler yapmadan gürbüz bir şekilde eğitilir. Makale, YZ araştırmalarının en çok atıf alan çalışmaları arasına girdi. Dürüst bir değerlendirme yapacak olursak: Adam bir sihirli değnek değildir. Bazı durumlarda daha sade SGD, yeni verilere daha iyi genelleştirir. Ayrıca Adam, AdaGrad ve RMSProp gibi öncüllerine dayanmaktadır; AdamW (2017) gibi sonraki varyantların orijinalin zayıf noktalarını gidermesi gerekmiştir.
MS COCO: Bilgisayarla görmenin altın standardı
2014 yılında Microsoft Research, Cornell Üniversitesi ve UC Berkeley'den oluşan bir araştırma ekibi, COCO veri kümesiyle (Common Objects in Context) bilgisayarla görme araştırmalarını önemli ölçüde dönüştürdü. Yalnızca izole nesneler içeren ImageNet'ten farklı olarak COCO, nesneleri doğal bağlamlarında - gerçek dünyada göründükleri gibi - gösteriyordu. 91 kategoride düzenlenen 328.000 görüntüde 2,5 milyon açıklama yer alıyordu; bunlardan 80 tanesi bugün hâlâ kullanılan tespit kıyaslamasını oluşturuyordu - tamamı 4 yaşında bir çocuğun tanıyabileceği günlük nesnelerdi. İnovasyon ayrıntıda yatıyordu: Yalnızca sınır kutularının değil, piksel düzeyinde hassas segmentasyon maskelerinin kullanılması. COCO, ilk kez hassas nesne konumlandırmayı ve karmaşık sahne anlayışını mümkün kıldı. Veri kümesi, nesne tespiti (Object Detection), örnek segmentasyonu (Instance Segmentation) ve görüntü altyazılama (Image Captioning) için altın standart hâline geldi. YOLO'dan Mask R-CNN'e kadar tüm büyük bilgisayarla görme modelleri COCO'ya göre ölçülmektedir. Ortalama Hassasiyet Ortalaması (mean Average Precision - mAP) gibi standartlaştırılmış ölçütler, model karşılaştırmalarını nesnel biçimde mümkün kıldı. On yılı aşkın bir süre sonra COCO, bilgisayarla görme topluluğunun en önemli kıyaslaması olmaya devam etmektedir. COCO olmadan otonom araçlarda, güvenlik sistemlerinde veya artırılmış gerçeklikte (Augmented Reality) modern nesne tanıma sistemleri var olamazdı.
GAN'lar - Üretici Çekişmeli Ağlar
Ian Goodfellow, 2014 yılında Montreal'de bir bar ziyaretinin ardından geçirdiği bir gecede Üretici Çekişmeli Ağları (Generative Adversarial Networks - GAN'lar) icat etti. Çığır açan bu çerçeve, iki yapay sinir ağını bir minimax oyununda birbirine karşı çalıştırır: Bir üretici (Generator) yapay veriler oluşturur, bir ayırt edici (Diskriminator) gerçeği sahteyi ayırt etmeye çalışır. Bu çekişmeli eğitim, üretici YZ'yi temelden dönüştürdü. 2014 tarihli özgün GAN yalnızca küçük, bulanık görüntüler (basamaklar ve yüzler gibi) üretti; ancak daha sonra gerçekçi fotoğraf kalitesinde görüntü üretiminin önünü açtı. 2014'te arXiv'de yayımlanan çalışma, en etkili YZ makalelerinden biri haline geldi ve Goodfellow'u YZ dünyasında tanınan bir isim yaptı. Yüzlerce GAN varyantı bu çalışmanın izinden gitti.
Dikkat Mekanizması: Modern LLM'lerin Anahtarı
Eylül 2014: Dzmitry Bahdanau, Kyunghyun Cho ve Yoshua Bengio, NLP dünyasını kalıcı biçimde değiştirecek bir makale yayımladı. 'Neural Machine Translation by Jointly Learning to Align and Translate' (Hizalamayı ve Çevirmeyi Birlikte Öğrenerek Sinir Makine Çevirisi), Sequence-to-Sequence modellerinin temel bir sorununu çözdü. Önceki Kodlayıcı-Kodçözücü (Encoder-Decoder) mimarileri, her giriş cümlesini tek bir sabit uzunluklu vektöre sıkıştırıyordu - bu, uzun cümleler için bir bilgi darboğazıydı. Bahdanau Dikkat Mekanizması (Bahdanau Attention) önemli bir ilerlemeyi temsil ediyordu: Sabit bir vektör yerine model, giriş cümlesinin farklı bölümlerine dinamik dikkat kullandı. İnsan gözünün okurken atlaması gibi, YZ dikkati de ilgili kelimeler arasında ileri geri sıçradı. Bu 'Toplamsal Dikkat' (Additive Attention), modern NLP sistemlerinin kavramsal öncüsü oldu. Sonraki Transformer (2017), dikkat (attention) fikrini benimsedi ancak toplamsal varyantın yerine daha verimli Olçeklendirilmis Nokta Carpimi Dikkat'ini (Scaled-Dot-Product-Attention) koydu. Bahdanau'nun dikkat kavramı olmadan Transformer olmazdı, Transformer olmadan GPT ailesi veya BERT olmazdı. Bu gelişme, 'Attention Is All You Need' makalesinden üç yıl önce gerçekleşti.
Amazon Alexa ve Echo Lansmanı
Amazon, 6 Kasım 2014'te Alexa ve Echo Akıllı Hoparlörünü tanıtarak insan ile teknoloji arasındaki etkileşimi önemli ölçüde değiştirdi. Echo, başlangıçta yalnızca davetiye ile ve yalnızca Prime üyeleri için satışa sunuldu; 2015'teki halka açık satışla birlikte Sesli YZ (Voice AI), geniş tüketici kitlelerine erişilebilir hale geldi ve evi sesle kontrol edilen bir ortama dönüştürdü. Amazon, 24 Ocak 2013'te satın aldığı Polonyalı konuşma sentezi teknolojisi Ivona üzerine bütünüyle yeni bir kullanıcı deneyimi oluşturdu. Echo, müzik kontrol cihazı olarak başladı ancak hızla evrensel bir Akıllı Ev (Smart Home) merkezine dönüştü. Bu yenilik, kitlesel bir kategori yarattı ve pek çok rakibi ilham veren Akıllı Hoparlör pazarında kapsamlı bir gelişmenin başlangıcını işaret etti.
Derin Q-Ağları: YZ Atari'yi piksellerden öğreniyor
AlphaGo manşetlere taşınmadan çok önce DeepMind, 2015'te bir YZ sisteminin Atari video oyunlarını yalnızca ham piksellerden öğrenmesini sağladı — ve böylece Derin Pekiştirmeli Öğrenmenin temellerini attı. Şubat 2015'te Volodymyr Mnih liderliğindeki ekip, Nature dergisinde 'Human-level control through deep reinforcement learning' (İnsanlara özgü kontrol düzeyi derin pekiştirmeli öğrenme yoluyla) makalesini yayımladı (ilk bir öncü sürüm 2013'te çıkmıştı). Yalnızca ekranı ve puanı gören bir yapay sinir ağı, aynı mimariyle — her oyun için ayrıca ayarlama yapılmadan — 49 farklı Atari oyununu öğrendi. Teknik olarak DeepMind, bir evrişim ağını Q-Öğrenimi ile, bir deneyim deposuyla (Experience Replay — Lin tarafından 1990'ların başında tanıtılmıştı) ve kararlılığı artıran bir hedef ağıyla birleştirdi. Kesin bir değerlendirme yapmak gerekirse: Sistem, oyunların yaklaşık yarısında insan düzeyine ulaştı ve 49'un 43'ünde önceki tüm yöntemleri geride bıraktı — ancak Montezuma's Revenge gibi seyrek ödüllü oyunlarda neredeyse tamamen başarısız oldu. Buna karşın derin ağların ve pekiştirmeli öğrenmenin büyük ölçekte birlikte çalışabileceğinin kanıtıydı — 1990'ların Q-Öğreniminden AlphaGo ve AlphaZero'ya uzanan köprü.
Toplu Normalleştirme: Sinir Ağı Eğitiminde Önemli Bir İlerleme
11 Şubat 2015'te Google'dan Sergey Ioffe ve Christian Szegedy, derin yapay sinir ağlarının eğitimini kalıcı biçimde değiştiren bir makale yayımladı. Tanıları şuydu: 'Internal Covariate Shift' (İç Kovaryanslı Kayma) - eğitim sırasında her katmanın giriş dağılımının kayması, öğrenmeyi istikrarsız hale getiriyordu. Zarif çözümleri: Toplu Normalleştirme (Batch Normalization), her katmanın aktivasyonlarını her mini-toplu (mini-batch) için normalleştirir. Etki kayda değerdi: Aynı doğruluğa ulaşmak için yaklaşık 14 kat daha az eğitim adımı. Daha yüksek öğrenme hızları mümkün hale geldi, Dropout çoğunlukla gereksiz oldu, başlangıç değerleri daha az kritik hale geldi. Yöntem hem düzenleyici hem de hızlandırıcı işlev gördü. ImageNet topluluğu 4,8% Top-5 hata oranına ulaşarak insan değerlendiricileri (yakl. 5,1%) geride bıraktı. İlginç olan: Sonraki araştırmalar (Santurkar ve diğerleri, 2018), asıl etki mekanizmasının dizginlenmiş Kovaryanslı Kayma'dan daha az, düzleştirilmiş kayıp peyzajından daha çok kaynaklandığını gösterdi - dolayısıyla özgün açıklama bugün göreli hale geldi. 60.000'i aşkın atıfla bu makale, sayısız normalleştirme yöntemine ilham verdi: GroupNorm, LayerNorm, InstanceNorm. Bugün Toplu Normalleştirme, ResNet'ten modern CNN'lere kadar pek çok mimaride standart haline geldi; Transformer'lar ise genellikle bu makaleyle birlikte ilham verilen Katman Normalleştirmesini (Layer Normalization) tercih eder.
YOLO: You Only Look Once
Birleşik tek geçişli mimari aracılığıyla gerçek zamanlı nesne algılamanın dönüşümü. 8 Haziran 2015'te Joseph Redmon, Santosh Divvala, Ross Girshick ve Ali Farhadi çığır açan 'You Only Look Once: Unified, Real-Time Object Detection' makalesini sundu. YOLO, nesne algılamanın geleneksel iki aşamalı paradigmasını kırdı ve Algılamayı mekansal olarak ayrılmış sınırlayıcı kutular için regresyon problemi olarak formüle etti. Tek bir sinir ağı, tek bir değerlendirmede tam görüntülerden doğrudan sınırlayıcı kutuları ve sınıf olasılıklarını tahmin eder. 45 fps temel performans ve Fast YOLO'nun şaşırtıcı 155 fps ile sistem, mevcut algılayıcılardan yüzlerce ila binlerce kat daha hızlıydı. Izgara tabanlı mimari, görüntüleri hücrelere böldü ve her hücre merkezindeki nesneleri tahmin etti. YOLO genelleştirici nesne temsillerini öğrendi ve alan transferinde diğer yöntemleri önemli ölçüde geride bıraktı.
DeepMind AlphaGo geliştirmesi
Ekim 2015'te DeepMind tarihi bir atılım gerçekleştirdi: AlphaGo, tam bir tahta üzerinde handikapsız olarak profesyonel bir Go oyuncusunu yenen ilk YZ sistemi oldu. AlphaGo, Avrupalı Go şampiyonu Fan Hui'yi 5:0 yenerek dünyanın en karmaşık klasik tahta oyununu ele geçirdi — uzmanların tahmin ettiğinden on yıl önce. Maç başlangıçta gizli kaldı; başarı kamuoyuna ilk kez 27 Ocak 2016'da, Nature dergisindeki yayın ile birlikte duyuruldu. Go, satrançtan astronomik ölçüde daha karmaşıktır — yaklaşık bir Googol (10^100) kat daha fazla yasal pozisyon ve bilinen evrende atom sayısından daha fazla olası tahta konfigürasyonu. Bu dikkat çekici başarı, yapay sinir ağlarının ve Monte Carlo ağaç aramasının gücünü ortaya koydu.
Tesla Autopilot: Kitlesel Pazara Yönelik Sürüş Destek Sistemleri
14 Ekim 2015'te Tesla, 7.0 yazılım sürümünü yayınladı ve bu sayede Model S araçlarında Autopilot'u ilk kez etkinleştirdi. Donanım, yazılım aktivasyonundan bir yıl önce, Eylül 2014'ten itibaren araçlara monte edilmişti. Sistem, bir ön kamera, radar ve 12 ultrasonik sensörden oluşan Mobileye teknolojisini kullandı. Sürücüler artık uyarlanabilir hız sabitleme, şerit takip asistanı ve otomatik park gibi özellikleri kullanabiliyordu; bunlar daha önce yalnızca üst segment araçlara özgüydü. Tesla bunu Seviye 2 Özerklik olarak tanımladı: Sistem sürücüye destek verir, ancak onu yerini almaz. Musk, aktivasyon sırasında şunu vurguladı: 'Sürücülerin ellerini direksiyonda tutmalarını tavsiye ediyoruz.' Tesla filosu ilk yılda aktif Autopilot ile yüz milyonlarca kilometre topladı; 2016 sonuna kadar Tesla yaklaşık 222 milyon mil sürüldüğünü bildirdi. Donanımı önceden kurma ve özellikleri yazılım güncellemesiyle etkinleştirme kavramı otomotiv endüstrisine yeni bir yol gösterdi. Mercedes'ten Mobileye gibi saf teknoloji şirketlerine kadar pek çok aktör kendi sürüş destek sistemlerini geliştirdi.
TensorFlow: Google'ın ML Çerçevesi Açık Kaynak Oluyor
Google'ın güçlü dahili aracı aracılığıyla makine öğreniminin demokratikleştirilmesi. 9 Kasım 2015'te Google, TensorFlow'u Apache 2.0 lisansı altında açık kaynak yaptı ve ikinci ML sistemlerini herkes için erişilebilir kıldı. TensorFlow, dahili DistBelief sisteminin yerini aldı ve geliştirilmiş ölçeklenebilirlik ve üretime hazırlıkla iki kat hız sundu. Evrensel hesaplama akışı grafik işlemcisi olarak TensorFlow, sadece derin öğrenmeyi değil, herhangi bir türevlenebilir hesaplamayı mümkün kıldı. Esnek Python arayüzü, otomatik türev alma ve birinci sınıf optimizatörler ML geliştirmeyi devrimleştirdi. Google'ın stratejisi: Topluluk tabanlı geliştirme herkes için YZ ilerlemesini hızlandırır. Google Brain ekibinden 30'dan fazla yazarla geliştirilen TensorFlow, önde gelen ML platformlarından biri oldu.
ResNet: Artık ağlar derin öğrenmeyi dönüştürüyor
Çok derin ağlardaki bozunma sorununun çözümü ve ultra derin ağların doğuşu. 10 Aralık 2015'te Kaiming He'nin Microsoft Research'teki ekibi 'Derin Artık Öğrenme ve Görüntü Tanıma' (Deep Residual Learning for Image Recognition) başlıklı makaleyi yayımladı ve derin öğrenmeyi önemli ölçüde dönüştürdü. O zamana kadar, ağları daha da derinleştirdikçe eğitim doğruluğu düşüyordu - birincil neden kaybolan gradyanlar değil, derin ağların basitçe optimize edilmesinin daha güç olmasıydı. ResNet, artık bağlantıları (Residual Connections) - girdileri doğrudan sonraki katmanlara ileten atlama bağlantılarını - devreye soktu ve ultra derin ağların eğitimini mümkün kıldı. 152 katmanlı ResNet, VGG'den sekiz kat daha derindi; ancak daha az karmaşıktı. Dikkat çekici sonuç: Model topluluğunun ImageNet'te yüzde 3,57 Top-5 hata oranı - tüm kategorilerde hakimiyet kuran bir başarı. ResNet, 2015 yılında ImageNet Sınıflandırma, Tespit, Konumlandırma ile COCO Tespit ve Segmentasyon ödüllerini kazandı. Artık Öğrenme (Residual Learning) çerçevesi, katmanları referanssız işlevler yerine artık işlevler öğrenmek olarak yeniden formüle etti. Bu yenilik, yüzlerce katmana sahip ağların eğitimini mümkün kıldı.
OpenAI kuruldu
YZ'yi herkes için erişilebilir kılmak isteyen ve dünyayı dönüştüren kuruluş. 11 Aralık 2015'te Sam Altman, Elon Musk ve diğer tanınmış teknoloji isimleri OpenAI'ın kuruluşunu duyurdu. Başlangıçta yalnızca küçük bir kısmının gerçekten aktarıldığı, birkaç yıla yayılmış bir finansman taahhüdü olan 1 milyar dolar vadiyle ve tüm insanlığa yarar sağlayan güvenli genel YZ geliştirme hedefiyle OpenAI, kâr amacı gütmeyen bir araştırma kuruluşu olarak sahneye çıktı. İdealist bir girişim olarak başlayan bu süreç, dünyanın en etkili YZ laboratuvarına dönüştü. 2019'da kâr amaçlı bir bağlı kuruluş kuruldu. GPT-3 ve ChatGPT ile OpenAI, YZ'nin neler başarabileceğini yeniden tanımladı.
AlphaGo Lee Sedol'u Yendi
YZ'nin ilk kez en karmaşık masa oyununda bir dünya şampiyonunu yendiği tarihi an. 9-15 Mart 2016'da Seul'de DeepMind Challenge Maçı gerçekleşti – dünyanın en iyi Go oyuncularından Lee Sedol ile AlphaGo arasında beş parti. Sonuç dünyayı şaşırttı: Makine için 4:1.
XGBoost: Extreme Gradient Boosting ML'yi Domine Ediyor
Gradient Boosting'in mükemmelleştirilmesi ve yapılandırılmış veri problemlerinin fethi. 9 Mart 2016'da Tianqi Chen ve Carlos Guestrin, arXiv'de Ağustos 2016'da KDD konferansında sunulan 'XGBoost: A Scalable Tree Boosting System' makalesini yayınladı. Chen'in University of Washington'daki doktora projesinden geliştirilen XGBoost, geleneksel Gradient Boosting'i aşırı optimizasyonlarla önemli ölçüde iyileştirdi: L1 ve L2 düzenlileştirme aşırı uyumu önledi, İkinci Derece Gradyanlar daha hassas yön bilgisi sağladı ve Paralelleştirme Ağaç Yapımını önemli ölçüde hızlandırdı. XGBoost, 2010'ların Makine Öğrenimi yarışmalarına hakim oldu ve Kaggle'da kazanan takımlar için standart tercih haline geldi. Higgs Boson ML Challenge'da Tianqi Chen özel bir ödül kazandı ve XGBoost, yapılandırılmış verilerdeki hakimiyetini kuran birçok üst düzey katılımcı tarafından kullanıldı.
Google Asistan: 'YZ Önce' stratejisi gerçeğe dönüşüyor
Sundar Pichai, 18 Mayıs 2016'da Google I/O'da Google Asistan'ı tanıttı — Google'ın Siri ve Alexa'ya yanıtı. Google, sesli asistan alanındaki yıllarca süren gecikmesinin ardından tam güçle yetişmeye çalıştı. Asistan, Google Now'un bir yükseltmesinden ibaret değildi; Pichai'nin 'YZ Önce' stratejisinin temeliydi. Pichai şunu açıkladı: 'Kullanıcıların Google ile sürekli bir diyalog kurmasını istiyoruz. Her kullanıcı için kişisel bir Google inşa ediyoruz.' Asistan, akıllı telefonlardan Google Home'a ve araçlara kadar tüm cihazlara yayılan bir 'ortam deneyimi' olacaktı. Komut tabanlı rakiplerinin aksine Google, doğal konuşmaya ve bağlam anlayışına odaklandı. Asistan başlangıçta yalnızca duyuruldu; ilk evi birkaç ay sonra Allo mesajlaşma uygulaması oldu; onu 2016 sonu itibarıyla Google Home hoparlörü izledi. Bu lansman, Google'ın sesli YZ geliştirme alanına ciddi girişini simgeledi ve şirketin bugünkü YZ üstünlüğünün temelini attı.
Partnership on AI: Teknoloji devleri bir araya geliyor
Sorumlu YZ geliştirme için önde gelen teknoloji şirketlerinin kurduğu önemli bir ittifak. 28 Eylül 2016'da Amazon, Facebook, Google, DeepMind, IBM ve Microsoft, 'İnsanlara ve Topluma Fayda Sağlamak İçin Yapay Zeka Ortaklığı'nı (Partnership on Artificial Intelligence to Benefit People and Society) kurdu — eski rakiplerin alışılmadık bir koalisyonu. Eric Horvitz (Microsoft Research) ve Mustafa Suleyman (DeepMind) geçici eş başkan olarak görev yaparken, Partnership başlangıçta yalnızca kurumsal üyelerden oluşan bir yönetim kurulu ile faaliyete geçti ve bunu eşit sayıda kurumsal olmayan üyeyle tamamlayacağını duyurdu. Misyon; etik, adalet, şeffaflık, veri gizliliği ve insan-YZ iş birliği konularında araştırma ve en iyi uygulamaları kapsamaktadır. Dikkat çekici olan: Apple başlangıçta yoktu, ancak 2017'de katıldı. Partnership bilinçli olarak lobi faaliyetlerinden kaçınarak araştırma iş birliğine odaklanmaktadır. Bu girişim, YZ geliştirmede yapılandırılmış endüstri öz düzenlemesinin başlangıcını simgelemektedir.
Konuşma tanıma insan düzeyine ulaştı
18 Ekim 2016'da Microsoft tarihi bir başarıya imza attı: Konuşma tanıma sistemi, konuşma dili için Switchboard karşılaştırma ölçütünde insan düzeyinde performansa ulaşan ilk şirket oldu. 25 yıllık araştırmanın ardından hedef gerçekleşmişti - %5,9 kelime hata oranı, bu görevde profesyonel transkripsiyon uzmanları kadar iyi. (2017'de Microsoft insan karşılaştırma oranını %5,1 olarak düzeltti ve yeniden bu seviyeye ulaşmak zorunda kaldı.) Microsoft'un Baş Konuşma Bilimcisi Xuedong Huang, 'İnsan paritesine ulaştık. Bu tarihi bir başarıdır' diye duyurdu. Sistem en yeni Derin Öğrenme teknolojisini kullandı: Evrişimli sinir ağları, LSTM mimarileri ve sürekli kelime vektörleri içeren sinirsel dil modelleri. Güç, kanıtlanmış yapı taşlarının sistematik kombinasyonunda yatıyordu - CNN ve BLSTM akustik modellerinin bir araya getirilmesi, i-vector konuşmacı uyarlaması ve dil modeliyle yeniden puanlama. Bu, üç gelişmenin yakınsamasıyla mümkün oldu: büyük veri kümeleri (Switchboard Corpus), GPU hesaplama ve geliştirilmiş eğitim yöntemleri. Bu başarı modern sesli asistanların önünü açtı - ancak yalnızca dar kapsamlı bir transkripsiyon görevinde pariteyi kanıtladığını, genel insan bilişsel yeteneklerini değil, belirtmek gerekir.
Asilomar ilkeleri: Uzmanlar kendilerine rehber çizer
2017'nin başında, ChatGPT'den çok önce, önde gelen YZ araştırmacıları Asilomar'da bir araya geldi — Californiya kıyısında, 1975'te biyologların genetik mühendisliğin risklerini tartıştığı aynı yerde. Future of Life Institute, yararlı YZ üzerine düzenlenen konferansa ev sahipliği yaptı. Sonuç, 23 Asilomar YZ İlkesi oldu: araştırma, güvenlik ve şeffaflık gibi değerler ile uzun vadeli riskler üzerine kılavuzlar. Bin'den fazla YZ uzmanı ve Stephen Hawking ile Elon Musk gibi tanınmış imzacılar bu ilkelerin arkasında yer aldı. Hükümetlerin konuyu keşfetmesinden yıllar önce, uzman çevrelerin kendilerine rehber çizmesine yönelik ilk kapsamlı girişimlerden biriydi. Dürüst bir değerlendirme yapacak olursak: İlkeler gönüllü ve bağlayıcı değildi. Tartışmayı şekillendirdiler, ancak yasal bir güce sahip değillerdi.
MobileNet - Akıllı telefonlar için YZ
Google Research, Nisan 2017'de MobileNet ile mobil YZ alanını önemli ölçüde dönüştürdü. MobileNet, akıllı telefonlar, IoT cihazlar ve gömülü sistemler için özel olarak tasarlanmış ilk derin öğrenme modellerinden biridir (SqueezeNet gibi öncüller zaten mevcuttu). Yenilikçi Depthwise Separable Convolution (Derinlik Ayrıştırılmış Evrişim) mimarisi sayesinde MobileNet, geleneksel evrişimlerin yaklaşık sekizde birine kadar hesaplama yükünü azaltır. Bu dikkat çekici verimlilik - 3x3 çekirdeklerde yaklaşık dokuz kat daha az hesaplama işlemi - mobil cihazlarda gerçek zamanlı görüntü işlemenin önünü açar. MobileNet, bilgisayarla görmeyi milyarlarca akıllı telefon için erişilebilir kılar ve bulut tabanlı çözümlerin ötesinde yeni bir YZ paradigması olarak Edge Computing'i yerleştirir.
RLHF Araştırma Makalesi Yayınlandı
ChatGPT'yi mümkün kılan teknik - atılımdan yıllar önce. Haziran 2017'de OpenAI ve DeepMind araştırmacıları 'Deep Reinforcement Learning from Human Preferences' makalesini yayınladı. Fikir: YZ sistemlerini mükemmel tanımlanmış ödül fonksiyonlarıyla eğitmek yerine, doğrudan insan geri bildiriminden öğrenirler. İnsanlar çeşitli YZ çıktılarını değerlendirir ve sistem hangi davranışın tercih edildiğini öğrenir. Daha sonra RLHF (İnsan Geri Bildiriminden Pekiştirmeli Öğrenme) olarak bilinen bu yöntem, ChatGPT ve diğer modern dil modellerinin arkasındaki anahtar teknoloji oldu. RLHF, YZ sistemlerini daha yardımcı, dürüst ve güvenli kılmayı mümkün kıldı.
Transformer: 'Attention Is All You Need'
12 Haziran 2017'de çoğunluğu Google'dan, biri University of Toronto'dan stajyer olmak üzere sekiz araştırmacı, arXiv'de 'Attention Is All You Need' makalesini yayımladı - bu makale modern Büyük Dil Modellerinin (LLM) temelini oluşturmaktadır. Ashish Vaswani, Noam Shazeer ve meslektaşları yeni bir mimari önerdi: Transformer. O zamana kadarki dizi modellerinin aksine, Transformer yinelemeli (rekürrent) ve evrişimli katmanlara yer vermez. Bunun yerine yalnızca dikkat (Attention) mekanizmalarını kullanır. Öz-dikkat (Self-Attention), bir dizideki tüm konumlar arasındaki ilişkileri paralel olarak yakalar; artık sıralı işleme gerekmiyor. Çok Başlı Dikkat (Multi-Head Attention), kelime ilişkilerinin farklı yönlerini öğrenen birden fazla paralel dikkat başı kullanır. WMT 2014'te model, İngilizce-Almanca için 28,4 BLEU ve İngilizce-Fransızca için 41,8 BLEU elde etti - yeni rekorlar. Mimari kapsamlı etkisini kanıtladı: GPT, BERT, ChatGPT ve daha pek çok model Transformer varyantlarını temel alır. 100.000'i aşkın atıfıyla - sayısı sürekli artan - bu makale 21. yüzyılın en çok alıntılanan çalışmaları arasına girdi.
Çin'in YZ Ana Planı: Dünya liderliği yarışı
20 Temmuz 2017'de Çin Devlet Konseyi 'Yeni Nesil Yapay Zeka Geliştirme Planı'nı duyurdu - bu büyüklükte ilk kapsamlı ulusal YZ stratejisiydi. Hedef: 2030'a kadar dünya genelinde önde gelen YZ gücü olmak. Üç aşamalı plan son derece netti: 2020'de küresel rekabet gücü, 2025'te bazı alt alanlarda dünya lideri düzeyi ve YZ temel teorisinde büyük atılımlar, 2030'da ise 1 trilyon Yuan sanayi çıktısıyla önde gelen YZ süper gücü olmak. Çin, YZ'yi açıkça 'uluslararası rekabetin odağı' ve 'ulusal güvenlik için stratejik bir teknoloji' olarak tanımladı. Yatırımlar ciddi boyutlara ulaştı - araştırma, altyapı ve yetenek geliştirmeye onlarca milyar dolar aktarıldı. Plan, özerk silahlardan akıllı şehirlere kadar askeri ve sivil uygulamaları kapsıyor. Açık kaynak ilkelerinin uluslararası işbirliğini teşvik etmesi planlanırken Çin aynı zamanda teknolojik bağımsızlığı hedefledi. Bu strateji küresel YZ ortamını önemli ölçüde değiştirdi ve ABD ile Avrupa'da ulusal YZ girişimlerinin başlatılmasını tetikledi.
Sorumlu YZ için Montreal Deklarasyonu
Demokratik vatandaş katılımıyla etik YZ ilkelerini oluşturan ilk uluslararası girişim. 3 Kasım 2017'de Université de Montréal, sorumlu YZ gelişimi için Montreal Deklarasyonu'nun ortak hazırlık sürecini başlattı. Toplumsal açıdan sorumlu YZ gelişimi forumu, farklı sektörlerden ve disiplinlerden 400'den fazla katılımcıyı bir araya getirdi. Üç ay boyunca 15 müzakere çalıştayında 500'den fazla vatandaş, uzman ve paydaş, YZ'nin toplumsal zorluklarını tartıştı. 4 Aralık 2018'de yayımlanan deklarasyon, refah, özerklik, adalet, mahremiyet ve demokrasi gibi değerlere dayanan 10 ilke ve 59 tavsiye sunar. 500'den fazla imzacıyla Montreal Deklarasyonu, YZ yönetimi için katılımcı bir yaklaşım yerleştirdi ve sonraki uluslararası sorumlu YZ geliştirme çabalarını etkiledi.
AlphaZero Üç Oyuna Hakim Oldu
Tamamen kendi kendine öğrenme yoluyla evrensel bir oyun YZ'sinin doğuşu. Aralık 2017'de DeepMind, AlphaZero'yu tanıttı; bu sistem herhangi bir ön bilgi olmaksızın birbirinden tamamen farklı üç strateji oyununu ustalıkla öğrendi: satranç, shogi ve go. Tabula rasa yaklaşımı şu anlama geliyordu: Açılış veri tabanı yok, insan stratejisi yok, sadece oyun kuralları başlangıç noktası olarak. 24 saat içinde AlphaZero insanüstü performansa ulaştı - satrançta yalnızca 4 saatte, shogide 2 saatte. Stockfish'e karşı 100 maçlık karşılaşmada 28 maç kazandı, hiç kaybetmedi ve 72 beraberlik elde etti. Özgünlüğü verimli arama davranışındaydı: Stockfish saniyede 60 milyon pozisyon değerlendirirken AlphaZero yalnızca 60.000 pozisyon analiz etti - ancak Derin Sinir Ağı (Deep Neural Network) sayesinde çok daha hedefli biçimde. Bu başarı, saf pekiştirmeli öğrenmenin (Reinforcement Learning) genellenebilirliğini ve alana bağımsızlığını etkileyici biçimde ortaya koydu.
Derin Öğrenme için Turing Ödülü
2019'da YZ, bilişimin en yüksek ödülünü aldı: A.M. Turing Ödülü 2018 — çoğu zaman bilişimin Nobel Ödülü olarak anılan bu ödül — Derin Öğrenmenin üç tanrıbabası Yoshua Bengio, Geoffrey Hinton ve Yann LeCun'e verildi. ACM, geri yayılımdan evrişimli ağlara ve 2012 atılımını taşıyan fikirlere kadar derin sinir ağlarını bilişimin merkezi bir yapı taşı haline getiren kavramsal ve teknik katkılarını onurlandırdı. Bu ödül, on yıllarca alay konusu olan bir devrimin geç, resmi tesciliydi. Doğru bir değerlendirme için: Derin Öğrenmenin pek çok babası ve annesi vardır — Jürgen Schmidhuber gibi araştırmacılar, önemli katkıların yeterince takdir görmediğini kamuoyu önünde eleştirdi. Ödül, üçlünün merkezi rolünü onurlandırmaktadır, münhasır bir yaratıcılığı değil.
GDPR: YZ etkisiyle veri koruma dönüm noktası
25 Mayıs 2018'de AB Genel Veri Koruma Yönetmeliği (GDPR/DSGVO) yürürlüğe girdi — YZ ve veri koruma açısından dünya genelinde bir dönüm noktası. 'Tüm veri koruma yasalarının anası' olarak adlandırılan GDPR, internet'in taş devrine ait 1995 tarihli 95/46/EG sayılı direktifin yerini aldı. GDPR, 'Tasarım Gereği Gizlilik' (Privacy by Design) ilkesini zorunlu kıldı: Veri koruma, YZ sistemlerine baştan itibaren entegre edilmek zorunda. Küresel kapsam etkisi geniş çaplı oldu — Avrupalı verileri işleyen ABD'li teknoloji devleri de AB standartlarına uymak zorunda kaldı. YZ açısından bu durum temel bir meydan okuma yarattı: GDPR şeffaflık talep ederken 'kara kutu' algoritmalar nasıl açıklanacak? Gözlemciler, YZ'nin daha veri tasarruflu geliştirilmesine yönelik bir teşvik gördü ve Transfer Learning gibi yöntemler önem kazandı. GDPR, Kaliforniya'dan Singapur'a kadar dünya genelinde veri koruma yasalarına ilham verdi. Bu düzenleme, 2024 tarihli AB YZ Yasası'nın zeminini hazırladı — veri korumadan YZ düzenlemesine geçiş mantıksal bir adımdı.
GPT-1: Üretici Ön Eğitim'in doğuşu
Tüm modern Büyük Dil Modellerinin temelini oluşturan denetimsiz ön eğitim. 11 Haziran 2018'de Alec Radford, OpenAI ekibiyle birlikte çığır açan 'Improving Language Understanding by Generative Pre-Training' makalesini yayımladı. Bu çalışma Transformer mimarisini denetimsiz ön eğitimle ilk kez bir araya getirerek iki aşamalı paradigmayı yerleştirdi: önce büyük metin derlemleri üzerinde üretici eğitim, ardından belirli görevler için ince ayar. 117 milyon parametre ve farklı türlerden 7.000'den fazla yayımlanmamış kitaptan oluşan BooksCorpus veri kümesiyle eğitilen GPT-1, Transfer Learning'in dil anlama için işe yaradığını kanıtladı. Maskeli öz dikkat mekanizmasına sahip on iki katmanlı yalnızca çözücü Transformer mimarisi, tüm GPT serisi için şablon oluşturdu. Bu buluş, 2017'deki Transformer mimarisini çeşitli Doğal Dil İşleme görevleri için uygulanabilir bir araca dönüştürdü ve Büyük Dil Modelleri çağını başlattı.
BERT Dil Anlayışını Önemli Ölçüde Geliştirdi
Çift yönlü dil modellerinde önemli bir ilerleme ve modern NLP'nin doğuşu. Ekim 2018'de Jacob Devlin ve Google Research'teki ekibi, BERT - Transformer'lardan Çift Yönlü Kodlayıcı Temsilleri (Bidirectional Encoder Representations from Transformers) makalesini yayımladı. Bu yenilik, etiketlenmemiş metinlerden ilk kez derin çift yönlü temsiller eğiterek dil işlemeyi önemli ölçüde değiştirdi. Önceki modellerden farklı olarak BERT, tüm katmanlarda hem sol hem de sağ bağlamı aynı anda göz önünde bulundurdu. Sonuç dikkat çekiciydi: BERT, on bir NLP görevinde yeni en iyi değerlere ulaştı ve GLUE puanını kayda değer biçimde 7,7 puan artırarak 80,5%'e çıkardı. Gerçek ön-eğitim (pre-training) birçok TPU'da birkaç günü aldı - ancak açık kaynak yayını zirve teknolojiyi demokratikleştirdi: Hazır ön-eğitimli model, tek bir bulut TPU'sunda yaklaşık 30 dakikada kendi görevine ince ayarlanabiliyordu (Fine-Tuning). BERT, günümüzde tüm büyük dil modellerinin temelini oluşturan Ön-Eğitim-İnce Ayar (Pre-Training-Fine-Tuning) paradigmasını yerleştirdi.
GPT-2 - "Yayınlamak İçin Çok Tehlikeli"
OpenAI, Şubat 2019'da GPT-2'yi yayınladı ancak şaşırtıcı bir şekilde tam 1,5 milyar parametreli modeli geri tutmaya karar verdi - iddiaya göre tam yayın için 'çok tehlikeli'. Bu benzeri görülmemiş karar YZ topluluğunu ikiye böldü: Destekçiler, sahte haberler ve otomatik spam gibi kötüye kullanım riskleri karşısında sorumlu tutumu övdü. Eleştirmenler, OpenAI'ı araştırmayı 'kapatmak' ve asılsız korkular yaratmakla suçladı. Güçlü kötüye kullanım kanıtı olmadan dokuz ay sonra OpenAI tam modeli yayınladı ve sorumlu YZ geliştirme tartışmasında bir dönüm noktası olarak işaretledi.
AlphaStar Grandmaster Seviyesine Ulaştı
En karmaşık gerçek zamanlı strateji oyununun yapay zeka tarafından fethi. DeepMind'ın AlphaStarı, Temmuz ve Ağustos 2019'da Battle.net'te anonim olarak sıralama modunda oynadı; 30 Ekim 2019'da DeepMind, Nature dergisinde sistemin StarCraft II'de Grandmaster seviyesine ulaşan ilk YZ olduğunu bildirdi - bu oyun, makineler için çok karmaşık kabul ediliyordu. AlphaStar, tüm aktif Battle.net oyuncularının 99,8%'inin üzerinde sıralandı ve üç ırkı da hakim oldu: Protoss, Terran ve Zerg. Daha önce AlphaStar, profesyonel oyuncular Grzegorz 'MaNa' Komincz ve Dario 'TLO' Wünsch'ü her birini 5:0 yenmişti. Özgünlüğü, bir ligde çeşitli stratejiler ve karşı stratejiler eğiten Çok Etkenli Pekiştirmeli Öğrenme (Multi-Agent Reinforcement Learning) mimarisindeydi. Dakikada ortalama 280 işlemle AlphaStar, insan profesyonellerin bile altında kalıyordu ancak daha kesin bir uygulama sergiledi. Bu başarı, video oyunlarında ve gerçek zamanlı kararlarda YZ için önemli bir dönüm noktası oldu.
T5 - Text-to-Text Transfer Transformer
Google AI, Ekim 2019'da T5 ile NLP'yi önemli ölçüde değiştirdi - tüm dil işleme görevlerini birleşik "metin-metin" formatına dönüştüren Text-to-Text Transfer Transformer. Yenilikçi "Her Şey Metindir" yaklaşımıyla, çeviri, özetleme, soru yanıtlama ve sınıflandırma aynı model, aynı kayıp fonksiyonu ve aynı hiperparametrelerle ele alınabilir. T5, kapsamlı C4 veri setini tanıttı ve SuperGLUE kıyaslamalarında neredeyse insan seviyesi performansa ulaştı. 11 milyar parametreye kadar bir Foundation Model olarak T5, modern Büyük Dil Modelleri için yol açtı ve birleşik metin-metin paradigmasını standart olarak oluşturdu.
RAG: Dil modelleri önce araştırır
Bir dil modeli yalnızca eğitiminde yer alan bilgileri bilir — kuşkulu durumlarda ise özgüvenle bir şeyler uydurur. 2020'de Facebook AI'dan Patrick Lewis ve meslektaşları bir çıkış yolu gösterdi: Retrieval-Augmented Generation, kısaca RAG. Fikir çarpıcı biçimde basit. Model yanıt vermeden önce, Wikipedia gibi harici bir bilgi kaynağında uygun metin parçaları arar ve ardından yanıtını bulduğuna dayandırır. Böylece model yeniden eğitilmeden bilgi güncellenebilir ve yanıt kanıtlanabilir hale gelir. ChatGPT'nin başarısının ardından RAG, dil modellerini güncel ve doğrulanabilir kaynaklara bağlamanın standart yöntemi haline geldi — neredeyse kendi belgelerinizle sohbet etmeye yarayan tüm uygulamaların temelini oluşturdu. Doğru bir değerlendirme için: RAG halüsinasyonları azaltır, ancak ortadan kaldırmaz. Aranan bilgi yanlışsa ya da model bulguyu yanlış anlarsa hata yapmaya devam eder. Belge sunar, gerçek anlayış değil — ve daha önceki bilgi erişimi araştırmalarının üzerine inşa edilmiştir.
Sinirsel ölçeklendirme yasaları
Jared Kaplan, Sam McCandlish, Tom Brown ve Dario Amodei, Ocak 2020'de sinirsel ölçeklendirmenin temel matematiksel yasalarını keşfederek büyük dil modellerinin gelişimini önemli ölçüde dönüştürdü. OpenAI ve Johns Hopkins Üniversitesi'nden bu çığır açan çalışma, performansın model boyutu, veri kümesi büyüklüğü ve hesaplama gücüyle yedi büyüklük mertebesinde üs yasalarına (Potenzgesetze) göre davrandığını ortaya koydu. Bu zarif denklemler, ilk kez kaynak dağılımının sistematik biçimde tahmin edilmesini mümkün kıldı ve 'Büyük olan daha iyidir' (Bigger is Better) paradigmasını yerleştirdi. Bu matematiksel temeller doğrudan GPT-3'ün başarısına zemin hazırladı ve YZ geliştirmeyi deneme-yanılma yönteminden bilimsel temelli, öngörülebilir bir ölçeklendirme anlayışına dönüştürdü. Kaplan'ın somut dağılım kuralı - model boyutunu güçlü biçimde artırırken veri miktarını yavaş artır - 2022'de DeepMind'ın Chinchilla çalışmasıyla düzeltildi: hesaplama açısından optimal eğitim, başlangıçta önerilenden çok daha fazla eğitim verisi gerektirmektedir.
GPT-3: 175 milyar parametreli model
Az örnekli öğrenmeye ve ortaya çıkan YZ yeteneklerine giden atılım. 28 Mayıs 2020'de Tom Brown liderliğindeki OpenAI ekibi, GPT-2'den 100 kattan fazla büyük olan 175 milyar parametreli GPT-3'ü konu alan önemli 'Language Models are Few-Shot Learners' makalesini sundu. Bu ölçekleme, ortaya çıkan yetenekleri gün yüzüne çıkardı: Model, ince ayar yapmaksızın yalnızca birkaç örnekle yeni görevleri çözebiliyordu. Çeviriden sözcük bulmacalarına, üç basamaklı aritmetiğe kadar GPT-3 etkileyici bir çok yönlülük sergiledi. İnsan değerlendiriciler, GPT-3'ün ürettiği haber makalelerini gerçek makalelerden ayırt etmekte zorlandı. Yalnızca bağlam içi öğrenme (In-Context Learning) yoluyla GPT-3, belirli SuperGLUE alt görevlerinde en ileri seviyeye yaklaştı; ancak genel kıyaslama testinde yaklaşık 71,8 puanla ince ayarlı en iyi modellerin (yaklaşık 89) belirgin biçimde gerisinde kaldı. 31 OpenAI araştırmacısı (Tom Brown ve 30 ortak yazar) şunu kanıtladı: Büyük ölçekli parametre artışı niteliksel olarak yeni yetenekler ortaya çıkarabilir. GPT-3, ChatGPT'nin ve modern Büyük Dil Modelleri çağının temelini attı.
DDPM: Difüzyon Modelleri Yerleşti
Modern görüntü üretiminin matematiksel temeli: gürültü giderme süreçleri. Haziran 2020'de Jonathan Ho, Ajay Jain ve Pieter Abbeel, etkili makale 'Denoising Diffusion Probabilistic Models'ı yayınladı - denge dışı termodinamikten esinlenen gizli değişken modelleri sınıfı. Yenilikleri ağırlıklı varyasyonel sınır ve difüzyon modelleri ile Langevin dinamikli gürültü giderme skor eşleştirmesi arasındaki bağlantıdaydı. Sonuçlar etkileyiciydi: CIFAR-10'da 3,17 FID skoru ve 9,46 Inception skoru. DDPM'ler, otoregresif kod çözmenin genelleştirmesi olarak yorumlanabilecek progresif kayıplı sıkıştırma açma yaklaşımı kurdu. Bu çalışma Stable Diffusion ve tüm modern metinden görüntüye üretim için matematiksel temeli attı.
Vision Transformer: 'An Image is Worth 16x16 Words'
Bilgisayarla görmede Transformer mimarisi. 22 Ekim 2020'de Alexey Dosovitskiy'nin Google Research ekibi 'An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale' adlı makaleyi yayımladı. Vision Transformer (ViT), CNN'lerin zorunlu olmadığını gösterdi - salt Transformer'lar doğrudan görüntü yama dizilerine uygulanabilir. Temel bulgu ('at Scale'): Ancak büyük ölçekli ön eğitimden sonra devasa veri kümeleri üzerinde (ImageNet-21k veya JFT-300M) ViT, son teknoloji CNN'lerle karşılaştırılabilir veya daha iyi sonuçlar elde ediyor; bu ön eğitim olmaksızın orta büyüklükteki veri kümelerinde ViT daha zayıf kalıyor. Sistem görüntüleri yamalara - tipik olarak 16x16 piksel, ancak varianta göre farklı boyutlarda - ayırıyor, onları jeton dizileri olarak işliyor ve standart Transformer mimarisini uyguluyor. Transformer mimarisinin evrenselliğini açıkça ortaya koydu: Doğal dil işlemesini değiştiren aynı teknoloji bilgisayarla görmede de işliyor. ViT, dikkat mekanizmasına dayalı yeni nesil görsel modellere ilham verdi ve birleşik mimarilerin gücünü gösterdi.
AlphaFold Başarısı
50 yıllık biyolojik bir bulmacayı yapay zeka ile çözme. Kasım 2020'de DeepMind'ın AlphaFold 2'si CASP14 yarışmasına 'şaşırtıcı' ve 'dönüştürücü' olarak nitelendirilen bir doğrulukla hakim oldu. Sistem, protein yapı tahmininde 100 üzerinden 92,4 GDT-Skoru elde etti.
CLIP: Görüntü ve dil arasındaki köprü
OpenAI'ın DALL-E'yi tanıttığı günün aynısında — 5 Ocak 2021 — belki de daha etkili olan model yayımlandı: CLIP. Bu model görüntü üretmeyi değil, görüntü ve dili aynı uzayda anlamayı öğrendi. Alec Radford liderliğindeki ekip, web'den derlenen yaklaşık 400 milyon görüntü-metin çiftini kullanarak iki encoder'ı karşıt biçimde (kontrastif olarak) eğitti; sonunda birbirine ait görüntüler ve altyazılar ortak bir vektör uzayında aynı noktada buluştu. Etki şaşırtıcıydı: CLIP görüntüleri sıfır örnekle (zero-shot) sınıflandırabiliyordu — kategoriler yalnızca sözcüklerle tanımlanıyor, göreve özgü eğitim gerektirmiyordu. Bu yolla ImageNet'te %76,2 doğruluğa ulaştı; bu sonuç, 1,28 milyon etiketli örnekle eğitilmiş bir ResNet-50 ile aynı düzeydeydi — CLIP bunların hiçbirini görmemişti. Genel tabloda belirleyici olan: CLIP, metin-görüntü dalgasının temeli oldu — DALL-E 2 CLIP gömülerine dayanmakta, Stable Diffusion ise CLIP'in metin encoder'ını doğrudan kullanmaktadır. Bir not: Kontrastif görüntü-metin modelleri yeni değildi (ConVIRT aylarca önce gelmişti) — CLIP'in katkısı ölçek, sıfır-örnek genişliği ve tüm bir ekosistemi tetikleyen açık ağırlıklardı.
DALL-E metinden görsel üretiyor
Metinden görsel üretime yönelik önemli bir atılım ve YZ yaratıcılığında kayda değer bir ilerleme. OpenAI, 5 Ocak 2021'de DALL-E'yi tanıttı - metin açıklamalarından tutarlı ve çoğu zaman şaşırtıcı derecede yaratıcı görseller üreten bir sistem. Daha önce de metin-görsel modeller mevcuttu (örneğin 2015'te alignDRAW veya StackGAN ve AttnGAN gibi GAN tabanlı yaklaşımlar); ancak DALL-E tutarlılığı ve çok yönlülüğü yeni bir düzeye taşıdı. GPT-3'ün 12 milyar parametrelik bir versiyonuna dayanan DALL-E, dil ile görsel anlayış arasındaki sınırın aşılabileceğini kanıtladı. Sistem, internetten derlenen 250 milyon görsel-metin çiftiyle eğitildi ve bu süreçte dikkat çekici yetenekler geliştirdi: hayvanları insanlaştırabiliyor, birbirsiz kavramları makul biçimde birleştirebiliyor, hatta metni görsele dönüştürebiliyor. Georgia Tech'ten Mark Riedl, sonuçların daha önceki tüm metin-görsel sistemlerden 'çok daha tutarlı' olduğunu söyledi. DALL-E, GPT'nin dil anlayışını görsele başarıyla taşıdı ve YZ yaratıcılığında tamamen yeni bir boyut açtı.
Anthropic Kuruldu
Eski OpenAI yöneticilerinin güvenli YZ konusundaki kendi vizyonlarını hayata geçirmek istemeleriyle yaşanan gelişme. Ocak 2021'de Dario ve Daniela Amodei, Tom Brown, Jared Kaplan ve Chris Olah dahil beş eski OpenAI araştırmacısıyla birlikte Anthropic'i kurdu; toplamda yedi kurucu ortak. Kardeşler daha önce OpenAI'da kilit pozisyonlar üstlenmişti - Dario, Araştırma Başkan Yardımcısı olarak görev yapmıştı. Yeni şirketleri, YZ güvenliğine ve güvenilir, yorumlanabilir sistemlerin geliştirilmesine odaklanacaktı. Anthropic, Constitutional AI (Anayasal YZ) ile YZ sistemlerini yalnızca insan geri bildirimiyle değil, ilkeler aracılığıyla eğitmek için yenilikçi bir yaklaşım geliştirdi. YZ asistanları Claude, ChatGPT'nin önde gelen rakiplerinden biri haline geldi.
GitHub Copilot: YZ Eşli Programcı
Milyonlarca geliştirici için YZ destekli yazılım geliştirmenin demokratikleşmesi. 29 Haziran 2021'de GitHub, Copilot'un Teknik Önizlemesini duyurdu - OpenAI Codex tarafından desteklenen ilk YZ eşli programcı. GitHub depolarından milyarlarca satır halka açık kodla eğitilmiş GPT-3 varyantına dayanan Copilot, yorumlardan kod tamamlamaları ve tam fonksiyonlar üretebiliyordu. Temel Codex modeli, HumanEval kıyaslamasında ilk denemede %28,8 başarı oranı elde etti - GPT-3'ün %0'ına kıyasla çok daha iyi. Özellikle etkileyici olan: 100 örnekleme denemesiyle başarı oranı %70,2'ye çıktı. Copilot özellikle Python, JavaScript, TypeScript, Ruby ve Go ile iyi çalışıyordu. Sınırlı Teknik Önizleme büyük ilgi yarattı ve YZ destekli programlamayı pratik bir araç olarak belirledi. Copilot, geliştirici deneyimini temelden değiştirdi ve yeni nesil YZ destekli kodlama araçlarının yolunu açtı.
OpenAI Codex: YZ insanlar için kod yazıyor
OpenAI, 10 Ağustos 2021'de Codex'i bir API aracılığıyla kullanıma sunarak yazılım geliştirmeyi önemli ölçüde dönüştürdü - doğal dili çalışan koda dönüştüren büyük ölçekli bir YZ. GPT-3 temel alınarak 54 milyon GitHub deposundan elde edilen 159 gigabayt Python koduyla eğitilen Codex, doğal dili işlevsel koda çeviriyordu. 'Asal sayılar için bir fonksiyon oluştur' cümlesi saniyeler içinde gerçek Python koduna dönüşüyordu. Daha önce, 29 Haziran 2021'de GitHub ile kurulan ortaklıktan Copilot'un Teknik Önizlemesi (Technical Preview) doğmuştu; bu YZ programlama asistanı erken bir Codex sürümü üzerinde çalışıyordu. Codex, Python, JavaScript, Go, Ruby, Swift ve daha fazlası dahil düzineden fazla programlama dilini destekliyordu. HumanEval kıyaslamasında, koda ince ayar yapılmış Codex-S görevlerin yaklaşık yüzde 37'sini ilk denemede çözdü (pass@1); temel model ise yaklaşık yüzde 29'a ulaştı - etkileyici ama keyfi talepler için ölçüt değil. GitHub Copilot, geliştiriciler için anlamlı bir verimlilik artışı sağladı. Codex, YZ'nin yaratıcı ve karmaşık bilişsel çalışmayı destekleyebileceğini kanıtladı. Kod üretiminden kod anlamaya uzanan bu adımla Codex, YZ destekli yazılım geliştirmenin kapısını araladı.
InstructGPT: ChatGPT'ye uzanan köprü
Yöntem ile dünya çapındaki başarı arasında belirleyici bir ara adım yer alıyordu — ve bu adımın adı InstructGPT'ydi. 2022 yılının başında OpenAI, 'Training language models to follow instructions with human feedback' başlıklı makalesinde, GPT-3'ü kullanıcıların gerçekten istediğini yapacak şekilde nasıl yönlendireceğini gösterdi: İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF — Reinforcement Learning from Human Feedback) yoluyla. Şaşırtıcı sonuç şuydu: Yalnızca 1,3 milyar parametreli bir InstructGPT, yüz kat daha büyük GPT-3'ün (175 milyar) yanıtları yerine insanlar tarafından tercih edildi. Farkı yaratan ham büyüklük değil, amaca hizalama oldu. InstructGPT, RLHF fikri (2017) ile bu yöntemi popüler kılan ChatGPT (2022 sonu) arasındaki doğrudan teknik köprüydü. Dürüst bir değerlendirme yapacak olursak: InstructGPT, RLHF'yi icat etmedi — bunu 2017'deki bir makale yaptı — ancak hizalamanın bir dil modelini büyük ölçekte ne kadar daha kullanışlı kıldığını ilk kez gösterdi.
Chinchilla: Ölçekleme yeniden düşünülüyor
2022'de DeepMind rahatsız edici bir soru sordu: YZ modellerimizi aslında yanlış mı inşa ediyoruz? Jordan Hoffmann liderliğindeki ekip, 'Training Compute-Optimal Large Language Models' başlıklı makalede, zamanın en büyük dil modellerinin — GPT-3 ve Gopher'in — çok sayıda parametreye sahip olmakla birlikte yetersiz eğitim verisiyle çalıştığını gösterdi. Artık Chinchilla ölçekleme yasaları olarak bilinen düzeltmeleri şuydu: Belirli bir hesaplama bütçesi için model boyutu ve veri miktarı yaklaşık olarak aynı adımlarla büyümelidir. Bunu kanıtlamak için 70 milyar parametreli Chinchilla'yı 1,4 trilyon token üzerinde eğittiler — ve dört kat daha büyük Gopher'i (280 milyar) geride bıraktılar. Bu durum, sonraki neredeyse tüm zirvede yer alan modellerin nasıl eğitileceğini köklü biçimde değiştirdi. Dürüst bir değerlendirme yapacak olursak: Chinchilla ölçekleme yasalarını icat etmedi, Kaplan'ın (2020) önceki yasalarını düzeltti; Llama gibi sonraki modeller, kullanım sırasında daha verimli olmak için kasıtlı olarak hesaplama-optimal oranının ötesine geçti.
PaLM: Google'in 540 milyar parametreli devi
2022'de Google, dil modellerinin ne kadar yukarı ölçeklenebileceğini gösterdi: PaLM (Pathways Language Model), 540 milyar parametreye sahipti ve Google'in Pathways sistemiyle binlerce TPU çipi üzerinde eğitildi. Etkileyici olan, salt büyüklük değil PaLM'ın bununla neler yapabildiğiydi. Modelin çözüm yolunu adım adım yazdığı Düşünce Zinciri (Chain-of-Thought) istemlerini kullanan PaLM, çok adımlı metin problemlerini çözdü ve hatta fıkraların nüktesini bile açıkladı. PaLM böylece belirli bir model büyüklüğünden itibaren birdenbire ortaya çıkan yetenekler olan ortaya çıkan yetenekler (emergent capabilities) fikrinin simgesi haline geldi. Google'in ölçekleme çağının doruk noktasıydı ve PaLM 2 ile Gemini'nin habercisiydi. Doğru bir değerlendirme için: 540 milyar parametre son derece maliyetliydi ve PaLM hiçbir zaman açık model olarak yayımlanmadı. Ortaya çıkan yetenekler tezi de tartışmalıdır — bu sıçramaların bir kısmı kısmen seçilen ölçüm yönteminin bir eseridir.
Stable Diffusion: Açık Kaynak Görüntü Üretimi
İlk güçlü açık kaynak model aracılığıyla YZ görüntü üretiminin demokratikleştirilmesi. 22 Ağustos 2022'de Stability AI, Stable Diffusion'ı yayınladı ve gelişmiş metinden görüntüye teknolojisine erişimi önemli ölçüde değiştirdi. Sınıfındaki ilk açık kaynak model olarak Stable Diffusion, tüketici GPU'larında fotorealistik 512x512 piksel görüntüler üretebiliyordu - hız ve erişilebilirlik için önemli bir ilerleme. Latent Diffusion Models'e (LDM'ler) dayanan sistem, doğrudan piksel manipülasyonu yerine latent uzaylarda 'gürültü giderme' yoluyla yineleme yapar. U-Net'te 860 milyon ve metin kodlayıcısında 123 milyon parametre ile yüksek performansa rağmen nispeten hafif kaldı. GitHub'da mevcut kaynak kodu, patlayıcı büyüyen bir topluluğun sayısız varyant ve araç geliştirmesini sağladı.
OpenAI, Whisper'i yayımladı
Konuşma tanıma nihayet güvenilir hale geldiğinde – ve herkes için erişilebilir olduğunda. 21 Eylül 2022'de OpenAI, farklı diller, aksanlar ve ortam seslerinde sağlam biçimde çalışmak üzere eğitilmiş bir konuşma tanıma sistemi olan Whisper'i yayımladı. Temiz ses verileri üzerinde eğitilmiş önceki sistemlerin aksine Whisper, internetten derlenen 680.000 saatlik çok dilli veriyi kullandı. Sonuç: 99 dilde transkripsiyon yapabilen ve ticari çözümlerle rekabet eden bir sistem. OpenAI, Whisper'i açık kaynak olarak sundu – dünya genelinde geliştiricilere bir armağan olarak sayısız uygulamanın önünü açtı.
ChatGPT YZ Kullanımında Bir Dönüm Noktası
YZ'nin herkes için erişilebilir hale geldiği ve yeni bir dönemin başladığı an. 30 Kasım 2022'de OpenAI, ChatGPT'yi ücretsiz Araştırma Önizlemesi (Research Preview) olarak yayımladı - büyük bir pazarlama olmadan, düşük beklentilerle. Ardından gelen süreç tüm tahminleri aştı: 5 günde ChatGPT bir milyon kullanıcıya ulaştı, iki ayda 100 milyona - o zamanlar bir tüketici uygulamasının kaydettiği en hızlı kullanıcı artışıydı (Temmuz 2023'te Meta'nın Threads uygulaması tarafından geçildi). GPT-3.5 tabanlı ChatGPT, ilk kez geniş bir kitleye teknik engeller olmaksızın güçlü bir YZ'ye doğrudan erişim sundu. New York Times'tan Kevin Roose bunu 'kamuoyuna sunulan en iyi YZ sohbet robotu' olarak nitelendirdi. ChatGPT, yapay zekayı demokratikleştirdi ve bir araştırma alanından günlük bir araca dönüştürdü. Bu yayın, mevcut Üretken YZ (Generative AI) dalgasının başlangıcını işaret etti.
Constitutional AI - Anayasa ile YZ güvenliği
Anthropic, Aralık 2022'de Constitutional AI (CAI) adlı yeni bir yöntemi tanıttı: zararsız, yardımcı ve dürüst YZ sistemleri geliştirmeye yönelik bir yaklaşım. Etik ilkelerden oluşan bir 'anayasa', YZ'nin zararlı içerikleri tam bu zarar değerlendirmesi için insan etiketine ihtiyaç duymadan kendi kendine eleştirmesine ve iyileştirmesine olanak tanıyor. (Bu ilkelerin BM İnsan Hakları Evrensel Beyannamesi ve diğer temel hak belgelerinde açıkça yer alması, Anthropic tarafından ancak Mayıs 2023'te 'Claude's Constitution' adlı makalede ele alındı; özgün makale pragmatik biçimde bir araya getirilmiş bir ilkeler setini kullandı.) RLAIF (Reinforcement Learning from AI Feedback - YZ Geri Bildiriminden Pekiştirmeli Öğrenme) adı verilen yenilikçi yöntem, zararsızlık için insan geri bildiriminin yalnızca bu kısmını YZ öz-eleştirisiyle karşılıyor; yardımseverlik ise insan tercih verileriyle (RLHF) eğitilmeye devam ediyor. Bu sayede CAI, ChatGPT'nin salt performans odaklı yaklaşımına karşı güvenlik öncelikli bir alternatif oluşturuyor ve sorumlu YZ geliştirmenin önünü açıyor.
NIST YZ Çerçevesi: ABD güvenilir YZ'yi tanımladı
26 Ocak 2023'te ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), ilk kapsamlı YZ Risk Yönetimi Çerçevesini (AI RMF 1.0) yayımladı - bu, küresel YZ düzenlemesine Amerika'nın yanıtıydı. Sanayi, akademi ve sivil toplumdan 240'tan fazla kuruluşun katılımıyla 18 aylık bir geliştirme sürecinin ardından NIST, güvenilir YZ için federal düzeyde standartları ilk kez tanımladı. Çerçeve dört temel işlev ortaya koyuyor: Govern (Yönet), Map (Haritalandır), Measure (Ölç), Manage (Yönet) - ve güvenilir YZ'nin yedi özelliği: güvenli, dayanıklı, açıklanabilir, gizlilik dostu, adil, şeffaf ve güvenilir. Gönüllü bir standart olarak bireyler, kuruluşlar ve toplum için YZ risklerini en aza indirmeyi amaçlıyor. Yayım, Biden'ın YZ Haklar Bildirgesini (2022) izledi ve daha sonra onun YZ Yürütme Emriyle (Ekim 2023) tamamlandı. AI RMF, 2020 Ulusal YZ Girişimi Yasası'nın yasal yetkisi kapsamında oluşturuldu - NIST burada federal standartlar kurumu olarak köklü rolünü sürdürdü. Çerçeve, sektör standartları ve uluslararası koordinasyon için temel haline geldi - Çin'in devlet kontrolündeki YZ anlayışına ve Avrupa'nın düzenleyici yaklaşımına karşı bir denge unsuru.
LLaMA: Açık kaynaklı temel model
Açık araştırma modelleriyle Büyük Dil Modellerinin demokratikleşmesi. 24 Şubat 2023'te Meta AI, yalnızca kamuya açık verilerle eğitilmiş 7 milyardan 65 milyar parametreye kadar uzanan Temel Modeller topluluğu olan LLaMA'yı (Large Language Model Meta AI) yayımladı. 'LLaMA: Open and Efficient Foundation Language Models' adlı çığır açan makale, tescilli veri kümeleri olmaksızın en ileri düzey performansın elde edilebileceğini kanıtladı. LLaMA, büyük altyapıya erişimi olmayan araştırmacıların gelişmiş dil modellerini incelemesini mümkün kıldı. Çıkarım kodu GPLv3 lisansı altında yayımlanırken model erişimi akademik araştırma için münferiden verildi. Milyarlarca Token üzerinde eğitim ve farklı model boyutlarıyla LLaMA, farklı donanım gereksinimlerine yanıt verdi. Bu çalışma, açık kaynaklı Büyük Dil Modelleri araştırmalarında bir dalgalanmayı tetikledi ve açık kaynak topluluğunda çok sayıda sonraki modele ilham kaynağı oldu.
Claude YZ Asistanı Başlatıldı
Anthropic'in Constitutional AI yaklaşımıyla geliştirilen Claude, Mart 2023'te kamuya açıldı. GPT-4 ile aynı dönemde piyasaya sürülen Claude, güvenlik ve yararlılık arasında denge kurmayı hedefleyen bir YZ asistanıdır.
GPT-4: Çok modlu YZ modeli
Profesyonel ve akademik kıyaslama testlerinde insan düzeyine ulaşılan atılım. OpenAI, 14 Mart 2023'te GPT-4'ü tanıttı — metin ve görüntü girdilerini işleyerek çeşitli disiplinlerde insan düzeyine ulaşan Büyük Çok Modlu Model. İyileştirmeler önemli büyüklükteydi: GPT-3.5 bar sınavında alt yüzde 10'da kalırken GPT-4 üst yüzde 10'a yükseldi. SAT matematik testinde başarı, 70. yüzdelikten 89. yüzdeliğe çıktı. Çelişkisel test programından elde edilen bulgular ve ChatGPT geri bildirimleriyle altı aylık yinelemeli hizalama sürecinin ardından tüm Derin Öğrenme yığını yeniden inşa edildi. Çok modlu yetenekler, belgelerin, diyagramların ve ekran görüntülerinin saf metin girdileriyle aynı kalitede işlenmesini mümkün kıldı. GPT-4, YZ güvenliği ve performansı için yeni standartlar belirledi.
Midjourney V5: Fotogerçekçi YZ sanatı
Fotogerçekçi YZ görüntü üretimi yeni bir kalite düzeyine ulaştı ve yaratıcı sektörü önemli ölçüde dönüştürdü. 15 Mart 2023'te Midjourney Sürüm 5'i yayımladı ve kullanıcıların 'ürpertici' ve 'fazla mükemmel' olarak nitelendirdiği bir kalite sıçraması sağladı. Alfa sürümü, gerçek fotoğraflardan neredeyse ayırt edilemeyen fotogerçekçi görüntüler üreten ilk sürümdü. Özellikle dikkat çekici olan nokta: Hatalı ellere ilişkin kronik sorun önemli ölçüde giderildi; V5 çoğu durumda beş parmağı doğru biçimde gösterebildi. Grafik tasarımcı Julie Wieland deneyimi şöyle anlattı: 'Uzun süre görmezden gelinen zayıf görmenin ardından nihayet gözlük takmak gibi' — birdenbire her şeyi 4K kalitesinde görür hale geliyorsunuz [Kaynak: Ars Technica, Mart 2023]. Geliştirilmiş istem duyarlılığı daha hassas yaratıcı kontrol sağlarken otomatik yükseltme, ek GPU maliyeti olmaksızın 1024x1024 piksel temel görüntüleri ölçeklendirdi. V5, insan yaratıcılığının geleceğine ilişkin yoğun tartışmaları alevlendirdi.
Biden YZ Kararnamesi - İlk Kapsamlı ABD Düzenlemesi
Başkan Biden, 30 Ekim 2023'te 'yapay zekanın güvenli, korunaklı ve güvenilir gelişimi ve kullanımına' ilişkin 14110 Sayılı Cumhurbaşkanlığı Kararnamesini imzaladı - ABD'nin ilk kapsamlı YZ düzenlemesi ve 110 sayfayla tarihin en uzun Cumhurbaşkanlığı Kararnamesi. Kapsamlı kararname, güçlü YZ sistemlerini geliştirenlerı güvenlik testlerini kamuoyuyla paylaşmaya zorluyor ve NIST aracılığıyla katı Kırmızı Takım (Red-Team) standartları belirliyordu. İçerik kimlik doğrulaması ve filigran (Watermarking) aracılığıyla YZ tabanlı dolandırıcılığı önlüyor, kritik altyapı ve biyolojik tehlikelere ilişkin riskleri ele alıyordu. İmzalandığı an itibarıyla bu kararname, sorumlu YZ geliştirme konusunda küresel standartlar belirledi ve ABD'yi YZ yönetişiminde öne çıkan ülke olarak konumlandırdı. Ancak etkisi kalıcı olmadı: 20 Ocak 2025'te Başkan Trump, 14148 Sayılı Cumhurbaşkanlığı Kararnamesini imzalayarak EO 14110'u yürürsüzleştirdi - bu belge böylece 2023 düzenleyici tutumunu ortaya koymaktadır.
Durdurma mektubu ve Bletchley: YZ güvenliği küresel oluyor
2023'te, ChatGPT'nin ilk şokuyla dünya, aniden güçlü hale gelen bir teknoloji için kurallar arayışına girdi. Mart ayında Future of Life Institute'ün açık mektubundaki binlerce imzacı — aralarında Yoshua Bengio ve Elon Musk — GPT-4'ten daha güçlü YZ sistemlerinin eğitiminde altı aylık bir duraklamayı talep etti. Duraklama gerçekleşmedi, ancak mektup konuyu dünya gündemine taşıdı. Kasım ayında, Turing'in bir zamanlar şifreleri kırdığı İngiliz Bletchley Park'ta — bu seçim bilinçliydi — ilk küresel YZ Güvenlik Zirvesi düzenlendi. ABD ve Çin dahil 28 ülke ve AB, ileri teknolojili YZ risklerine ilişkin Bletchley Bildirgesi'ni imzaladı. Rakip güçlerin YZ güvenliği hakkında ilk kez birlikte konuştuğu bu zirve, bir dizi zirvenin başlangıcı oldu (Seul 2024, Paris 2025). Dürüst bir değerlendirme yapacak olursak: Duraklama hiçbir zaman gelmedi ve Bletchley Bildirgesi bağlayıcı değildi — her ikisi de konuları gündeme taşıdı, ancak uygulanabilir kurallar oluşturmadı.
Mistral & Mixtral: Avrupa'nın açık modelleri
2023'te manşetlere ABD'li şirketler hakim olurken, Paris'ten bir rakip sahneye çıktı: Mistral AI. Şirket 2023 ilkbaharında Arthur Mensch (eski Google DeepMind) ile Guillaume Lample ve Timothée Lacroix (eski Meta) tarafından kuruldu. Eylül'de küçük model Mistral 7B uzmanları şaşırttı — Apache-2.0 lisansı altında özgürce erişilebilir ve çok daha büyük Llama 2 13B'den daha güçlüydü. Aralık'ta Mixtral 8x7B geldi: pek çok görevde GPT-3.5 düzeyine ulaşan açık bir Karışık Uzman (Mixture-of-Experts) modeli, üstelik istek başına parametrelerinin yalnızca küçük bir bölümünü etkinleştiriyordu (yaklaşık 47 milyardan 13 milyarı). Mistral, açık modellerin Avrupalı sembolü hâline geldi ve milyarlarca dolar yatırım topladı. Doğru bir değerlendirme için: Açık ağırlıklar, açık kaynak demek değil — eğitim verileri ve kodu kapalı kalmaktadır. Mixtral GPT-3.5'e ulaştı, o dönemin en iyi modeli GPT-4'e değil; üstelik Karışık Uzman mimarisi de çok daha eskidir.
Google Gemini: Çok modlu YZ ailesi
Google'ın ChatGPT'ye yanıtı ve yerel çok modalite alanındaki atılım. Google, 6 Aralık 2023'te Gemini 1.0'ı duyurdu — sıfırdan çok modalite için geliştirilen bir YZ ailesi. DeepMind ve Google Brain'in iş birliği üç model boyutunu ortaya çıkardı: Son derece karmaşık görevler için Gemini Ultra, dengeli bir çözüm olarak Gemini Pro ve cihaz içi uygulamalar için Gemini Nano. Sonradan genişletilen sistemlerin aksine Gemini, dil, ses, kod ve video anlama ile yerel olarak tasarlandı. Gemini Pro, MMLU testleri dahil sekiz kıyaslama testinin altısında GPT-3.5 standardını geride bıraktı. Duyuru günü standart Bard, Gemini Pro ile yeni yetenekler kazandı; Gemini Ultra'ya sahip daha güçlü Bard Advanced için Google, 2024 başını işaret etti. Gemini, Google'ın OpenAI'nin üstünlüğüne verdiği stratejik yanıtı temsil eder ve çok modlu YZ'yi Büyük Dil Modelleri için yeni standart olarak yerleştirdi.
Cisimleşmiş YZ: Modeller bir beden kazanıyor
Yıllarca büyük YZ modelleri yalnızca ekranlarda yaşadı — metin yazıyor, görüntüler üretiyor, sohbet ediyordu. 2024 yılında bu değişmeye başladı: Bu yıl, cisimleşmiş YZ'nin yılı oldu. Fikir, dili ve görüntüleri anlayan temel modelleri gerçek bedenlere — özellikle insansı robotlara — yerleştirmektir. Figure şirketi OpenAI ile iş birliği yaptı ve konuşan, gören ve nesneleri ele alan bir robot tanıttı. NVIDIA, Project GR00T ile insansı robotlara özgü bir temel model sundu; Physical Intelligence gibi genç şirketler milyarlarca dolar değerlemeyle karşılandı. Pek çok kişi bunu zaten robotiğin ChatGPT anı olarak nitelendiriyordu. Dürüst bir değerlendirme yapacak olursak: Bunların büyük bölümü şimdiye kadar birer gösteri ve duyuruydu; gündelik yaşamda güvenilir biçimde çalışan makineler değil. Fiziksel dünya, bir robot için ekrandan çok daha zordur — beceri, güvenlik ve güvenilirlik hâlâ çözüme kavuşturulmamış sorunlardır.
Waymo: Sürücüsüz taksi gündelik hayata giriyor
On yılı aşkın süre boyunca otonom sürüş, sürekli ertelenen YZ vaatlerinin en çarpıcı örneğiydi. 2024'te bu somutlaştı: Google'ın robot araç bağlı kuruluşu Waymo, sürücüsüz taksileri ilk kez büyük ölçekte kamuya açtı — San Francisco, Los Angeles ve Phoenix'te. 2024 yazında şirket, direksiyonda güvenlik sürücüsü olmaksızın haftada 100.000'den fazla ücretli seyahat gerçekleştiğini bildirdi. Yıllarca süren duyuruların ardından bu, otonom sürüşün gerçek, gündelik bir hizmet olarak işleyebildiğinin ilk somut kanıtıydı. Doğru bir değerlendirme için: Waymo yalnızca özenle haritalanmış, dar sınırlı kentsel alanlarda çalışmaktadır — her yerde ve her hava koşulunda değil. Arızalar ve yerinde kalan araçlar olmaya devam etmekte, işletme maliyeti yüksektir. Her koşulda tam otonom sürüş çözüme kavuşturulamamıştır; 2023'te ağır bir kaza sonrasında rakip Cruise'un geri çekilmesi, teknolojinin ne denli kırılgan olduğunu gösterdi.
Sora: YZ ile metinden video üretimi
Fotogerçekçi YZ ile üretilen videolardaki ilerleme ve film endüstrisine etkileri. 15 Şubat 2024'te OpenAI, kısa açıklamalardan bir dakikaya kadar ayrıntılı HD video üretebilen bir metin-video modeli olan Sora'yı duyurdu. Japonca'da 'Gökyüzü' anlamına gelen bu adla Sora, 'sınırsız yaratıcı potansiyeli' simgeliyor. Bir Diffusion Transformer olarak Sora, zamansal tutarlılık için DALL-E 3 teknolojisini uyarlıyor ve çoğunlukla - her ne kadar güvenilir bir şekilde olmasa da - fiziksel açıdan makul hareketi simüle ediyor. Tanıtım videoları mevcut tüm metin-video sistemlerini geride bıraktı ve YZ yaratıcılığı için yeni standartlar belirledi. Yönetmen Tyler Perry, Sora'nın sektöre etkileri konusundaki endişesiyle 800 milyon dolarlık stüdyo genişletme planını durdurdu. OpenAI, daha geniş bir yayın öncesinde dezenformasyon ve önyargı için Red Team testleriyle ihtiyatlı bir yaklaşım benimsedi.
Çok Modlu Yeteneklere Sahip Claude 3 Ailesi
Görsel işleme ve üç özelleşmiş model içeren bir yapay zeka ailesinin tanıtımı. 4 Mart 2024'te Anthropic, farklı kullanım senaryoları için farklı güçlere sahip üç model olan Claude 3 ailesini tanıttı: Opus, Sonnet ve Haiku. Temel özellik, fotoğrafları, grafikleri, diyagramları ve teknik çizimleri analiz edebilen gelişmiş görsel işleme yeteneğiydi. Claude 3 Opus, bilişsel görevlerde yeni en iyi değerlere ulaştı ve MMLU ile GPQA gibi kıyaslamalarda rakiplerini geride bıraktı. Sonnet, işletmeler için zeka ve hız arasında ideal dengeyi sunarken, Haiku neredeyse anında yanıt süresiyle öne çıktı. 200.000 token bağlam penceresi (1 milyona genişletilebilir) ve 159 ülkede kullanılabilirlik ile Claude 3, çok modlu yapay zeka sistemleri için yeni kıyaslama standartları belirledi.
Devin: İlk özerk YZ yazılım mühendisi
Yapay zeka ile tamamen özerk yazılım geliştirmenin doğuşu. 12 Mart 2024'te Cognition Labs, Devin'i tanıttı — şirketin pazarlamasına göre dünyanın ilk tam özerk YZ yazılım mühendisi. Sistem bağımsız olarak planlayabilir, depoları kopyalayabilir, kod yazabilir, hata ayıklayabilir, test edebilir ve hatta dağıtım yapabilir. Zorlu SWE-Bench'te gerçek GitHub sorunlarında Devin %13,86 başarı oranına ulaştı — önceki en iyi değer olan %1,96'ya kıyasla büyük bir sıçrama. Girişim erken bir finansman turunda yaklaşık 350 milyon dolar değerlemeye ulaştı; lansmanın hemen ardından yaklaşık 2 milyar dolarlık değerlemeye ilişkin raporlar dolaşıma girdi. Etkileyici başarılara rağmen testler sınırları da ortaya koydu: 20 görevden yalnızca 3'ü başarıyla tamamlandı, sıklıkla öngörülemeyen arızalarla karşılaşıldı.
AlphaFold 3: YZ moleküllerin etkileşimini öngörüyor
AlphaFold 2'nin çıkışından dört yıl sonra Google DeepMind, Mayıs 2024'te kardeş şirketi Isomorphic Labs ile birlikte yeni bir adım attı. AlphaFold 2, tek bir proteinin üç boyutlu formuna nasıl katlandığını tahmin ediyordu. AlphaFold 3 ise belirleyici bir adım daha ileri gidiyor: Proteinlerin diğer moleküllerle nasıl etkileşime girdiğini modelliyor — DNA, RNA, iyonlar ve küçük ilaç molekülleriyle. Tam da bu etkileşim, ilaç araştırmaları için kritik önem taşır; çünkü bir ilacın hedef proteine nasıl bağlandığı bilgisayar ortamında tahmin edilebilir. Dürüst bir değerlendirme yapacak olursak: Tahminler etkileyici olmakla birlikte hatasız değildir — doğrulukları molekül türüne göre değişmekte olup laboratuvarda doğrulanmaya devam etmeleri gerekmektedir. Ayrıca AlphaFold 3, başlangıçta açık kaynak kodu olmadan yalnızca sınırlı bir web servisi olarak yayımlandı; bu durum araştırmacılar arasında izlenebilirlik konusunda eleştirilere yol açtı.
AlphaProof: YZ Matematik Olimpiyatı'nda gümüş madalya kazanıyor
Matematik uzun süredir YZ'nin başarısız olduğu bir kral disiplini olarak görülüyordu — çok yaratıcı, çok fazla gerçek anlayış gerektiren bir alan. Temmuz 2024'te Google DeepMind çarpıcı bir sonuç elde etti: AlphaProof sistemi, AlphaGeometry 2 ile birlikte Uluslararası Matematik Olimpiyatı'nın altı görevinden dördünü çözdü. Bu, altın madalyanın yalnızca bir puan altında, gümüş madalya düzeyine karşılık geliyordu. Çalışma biçiminin özgünlüğü şurada yatmaktadır: AlphaProof, kanıtlarını her adımı makine tarafından doğrulanabilir kılan resmi Lean dili kullanarak formüle eder — yani YZ hile yapamaz. Pekiştirmeli öğrenme (Reinforcement Learning) ile öğrendi. Bir YZ bu saygın yarışmada ilk kez madalya düzeyine ulaştı. Dürüst bir değerlendirme yapacak olursak: Gerçek yarışma koşulları yoktu. İnsanların yalnızca dört buçuk saati olduğu yerde YZ kimi zaman günlerce hesapladı ve uzmanların görevleri önce resmi dile elle çevirmesi gerekti. İki kombinatorik görevi çözümsüz kaldı.
AB YZ Yasası: İlk kapsamlı YZ mevzuatı
Yapay zekanın dünya genelindeki ilk kapsamlı düzenlemesi yürürlüğe girdi. 1 Ağustos 2024'te AB YZ Yasası (EU AI Act) resmi olarak geçerlilik kazandı — tüm YZ yaşam döngüsü için 180 gerekçe ve 113 madde içeren risk temelli bir düzenleyici çerçeve. Yasa, YZ sistemlerini dört risk düzeyine göre sınıflandırıyor: kabul edilemez uygulamalar yasaklanıyor, eğitim, istihdam ve yargı alanlarındaki yüksek riskli sistemler ayrıntılı uyumluluk yükümlülüklerine tabi tutuluyor, sınırlı riskli sistemler şeffaflık yükümlülüklerini yerine getirmek zorunda ve minimum riskli büyük çoğunluk büyük ölçüde serbest kalıyor. Bunun yanı sıra, örneğin ChatGPT'yi besleyen GPT gibi GPAI temel modelleri için ayrı kurallar da geçerli. Yasanın toprak dışı etkisi, Avrupalı kullanıcılara hizmet sunan AB dışındaki sağlayıcıları da kapsıyor. İhlaller halinde 35 milyon Euro'ya veya yıllık küresel cirosunun %7'sine kadar para cezası öngörülüyor. Tıpkı GDPR'nin 2018'deki etkisi gibi, YZ Yasası da küresel standartlar belirleyebilir ve YZ'nin hayatımızı nasıl şekillendireceğini etkileyebilir. Kademeli uygulama 2025'te başlayacak ve 2027'de tam anlamıyla yürürlüğe girecek.
OpenAI O1 - Akıl yürütmede ilerleme
OpenAI, 12 Eylül 2024'te önce o1-preview (ve o1-mini) modellerini yayımlayarak pekiştirmeli öğrenme (Reinforcement Learning) ile eğitilen düşünce zinciri (Chain-of-Thought) sayesinde YZ akıl yürütme yeteneklerini önemli ölçüde geliştirdi. O1, yanıt vermeden önce sistematik biçimde 'düşünen' ilk geniş çaplı dil modelidir - gizli bir düşünce zinciriyle sorunları adım adım çözümler. Bu yeni yaklaşım, ek bir ölçeklendirme boyutu açtı: Daha uzun 'düşünme' süresinin daha iyi sonuçlara yol açtığı test zamanı ölçeklendirmesi (Test-Time-Scaling). Tam o1 modeli, kıyaslama testlerinde fizik, kimya ve biyoloji alanlarında doktora düzeyinde performans sergiledi ve American Invitational Mathematics Examination'daki görevlerin yüzde 83'ünü çözdü (GPT-4o: yüzde 13). Bu teknoloji, YZ'nin yapılandırılmış akıl yürütme yoluyla belirgin ölçüde geliştirilmiş problem çözme becerileri kazanabileceğini göstermektedir.
2024 YZ Nobel Ödülleri
Ekim 2024'te eşi görülmemiş bir şey yaşandı: Aynı yıl iki doğa bilimleri Nobel Ödülü, modern YZ'nin temellerini onurlandırdı. 8 Ekim'de Fizik Nobel Ödülü, yapay sinir ağlarıyla makine öğrenimini mümkün kılan temel keşifler nedeniyle John Hopfield ve Geoffrey Hinton'a verildi. Fiziğin tam da sinir ağlarını ödüllendirmesi tartışmalara yol açtı — ancak Hopfield'ın fizikten ilham alan ağları (1982) ve Hinton'ın öğrenme yöntemleri gerçekten de temeli attı. Bir gün sonra Kimya Nobel Ödülü'nü David Baker (bilgisayar destekli protein tasarımı için) ile DeepMind'dan Demis Hassabis ve John Jumper paylaştı — 50 yıllık protein katlama problemini çözen AlphaFold için. İlk kez, YZ temel araştırması bilimin en üst düzeyinde tescil edildi. Dikkat çekici olan şu: Yeni ödüllendirilmiş Hinton, birlikte kurduğu teknolojinin risklerine karşı uyarmak için bu sahneyi kullandı.
OpenAI o3: ARC-AGI'da çığır açan sonuç
2024 yılının sonuna yakın, 20 Aralık'ta OpenAI, o1'in halefi o3'ü duyurdu — çalışma zamanı düşüncesinin (Test-Time Scaling) daha da ölçeklendirilebildiğinin kanıtı. Özellikle bir değer dikkat çekti: o3, ezberlemeyle geçilemeyecek şekilde tasarlanmış bir test olan ARC-AGI'da yüzde 87,5 aldı — önceki modeller burada sıfıra yakın kalmıştı. Bu sonuçla o3, söz konusu kıyaslamada ilk kez insana yakın bölgelere ulaştı ve aynı zamanda matematik ile programlamada da parlak sonuçlar verdi. o1 ve DeepSeek'in R1'iyle birlikte o3, akıl yürütme modellerinin çağını işaret etti (o3-mini Ocak 2025 sonunda, tam o3 ise Nisan'da çıktı). Doğru bir değerlendirme için: Yüzde 87,5, görev başına muazzam — ve çok pahalı — hesaplama gücü gerektiren yüksek performans modunda elde edildi; ARC Prize organizatörleri, o3'ün YGZ (Yapay Genel Zeka) olmadığını ve daha zor olan ARC-AGI-2 testinde belirgin biçimde gerilediğini açıkça vurguladı.
Ajantik YZ ana akıma giriyor
2024 ve 2025 yıllarında YZ'nin ne yaptığı temelden değişti: cevap vermekten eyleme geçmeye. Bunu ilk başlatan Anthropic oldu; Ekim 2024'te Computer Use ile — büyük YZ laboratuvarları arasında ilk olarak — bir bilgisayarı bizzat kullanan bir model çıkardı: ekranı izleyen, fareyi hareket ettiren, tıklayan, yazan. Ocak 2025'te OpenAI'ın Operator'ı geldi; web'de bağımsız sörf yapan ve görevleri yerine getiren bu ajanı kısa süre sonra çok adımlı araştırma yapan ve kaynaklı raporlar yazan Deep Research izledi. Metin üreten sohbet robotu, kullanıcı adına eylem gerçekleştiren bir sisteme dönüştü — Devin'in (2024) işaret ettiği niteliksel dönüşüm. Dürüst bir değerlendirme yapacak olursak: İlk sürümler yavaş, hata yapmaya eğilimli ve çoğunlukla dar tanımlı görevlerle sınırlıydı; ajan olarak pazarlanan sistemler 2025'te yoğun biçimde tanıtıldı, ancak güvenilirlikleri pazarlamayla henüz boy ölçüşemiyordu.
DeepSeek-R1: Çin'den YZ şoku
Ocak 2025'in sonunda bir YZ modeli, ilk kez görünür biçimde dünya borsalarını sarstı. Çinli laboratuvar DeepSeek, 20 Ocak 2025'te R1'i yayımladı — OpenAI'ın o1'iyle eş düzeyde bir muhakeme modeli; ancak açık ağırlıklara (MIT Lisansı) sahip ve beklenen maliyetin çok küçük bir kısmıyla eğitilmişti. Bunu mümkün kılan, temel model DeepSeek-V3 üzerinde gerçekleştirilen kapsamlı pekiştirmeli öğrenmeydi. DeepSeek uygulaması bir hafta sonra ABD listelerinin başına geçince hava değişti: 27 Ocak'ta Nvidia yaklaşık %17 değer kaybederek — tek bir günde yaklaşık 600 milyar dolar, ABD borsa tarihinin en büyük tek günlük kaybı — yatırımcılar, zirvede yer alan YZ'nin belki de sonsuz pahalı çiplere ihtiyaç duymayabileceği kaygısıyla satışa geçti. R1 aynı anda birçok kesinliği sarstı: Yalnızca ABD hiper-ölçekleyicilerinin zirvede yer alabileceği, muhakeme modellerinin kapalı kalacağı ve daha fazla hesaplama gücünün ileriye giden tek yol olduğu varsayımları. Dürüst bir değerlendirme yapacak olursak: Dolaşımdaki birkaç milyon dolar rakamı, yalnızca temel model V3'ün son eğitim adımını kapsamaktadır — R1'in kendisini değil, araştırma ve genel donanım maliyetlerini de değil — ve R1 her alanda o1'den üstün değildi.
Stargate: Devlet ölçeğinde YZ altyapısı
21 Ocak 2025'te Yapay Zeka, Beyaz Saray sahnesinde devlet ölçeğinde bir altyapı projesi olarak yer aldı. OpenAI, SoftBank, Oracle ve yatırımcı MGX, Stargate Projesi'ni duyurdu: ABD'deki YZ veri merkezleri için dört yıl içinde 500 milyar dolara kadar kaynak, bunun 100 milyar dolarının hemen konuşlandırılması planlıydı. Bu açıklama, YZ'nin bir sonraki aşamasının algoritma meselesinden çok enerji ve inşaat meselesi olduğunu gözler önüne serdi: Güç istasyonları ve sanayi parkları ölçeğinde hesaplama gücü. AlexNet'ten bu yana kırmızı ipliği hesaplama gücü olan bir alan için (bkz. CUDA 2007) bu, mantıksal ama son derece büyük bir sonraki adımdı — ve YZ'nin ulusal ve jeopolitik bir öncelik haline geldiğinin işaretiydi. Doğru bir değerlendirme için: Bir duyuru, tamamlanmış bir veri merkezi değildir. 500 milyar doların tamamının bir araya gelip gelmeyeceği başından beri tartışmalıydı — katılımcılar ve gözlemciler bile finansman konusunda kamuoyu önünde şüphelerini dile getirdi.
Paris YZ Eylem Zirvesi
10-11 Şubat 2025'te Paris'in Grand Palais'inde devlet ve hükümet başkanları, teknoloji şirketleri ve araştırmacılar, Bletchley (2023) ve Seul'ün (2024) ardından üçüncü büyük YZ Zirvesi olan YZ Eylem Zirvesi'nde bir araya geldi; zirveye Fransa Cumhurbaşkanı Macron ve Hindistan Başbakanı Modi birlikte başkanlık etti. Dikkat çekici olan ton değişimiydi: İlk zirve YZ güvenliğini odak noktasına koymuşken, Paris'te ağırlıklı olarak fırsatlar, yatırımlar ve rekabet gücü konuşuldu — ABD Başkan Yardımcısı aşırı düzenlemeye açıkça karşı çıktı. Sonunda 58 devletin yanı sıra AB ve Afrika Birliği, kapsayıcı ve sürdürülebilir YZ için bir bildiri imzaladı — ancak ABD ve Birleşik Krallık imzalamayı reddetti. Böylece zirve, YZ yönetişimindeki transatlantik kırılmayı açıkça ortaya koydu. Doğru bir değerlendirme için: Bildiri bağlayıcı değildi ve eleştirmenler zirveyi güvenlik konusunda kaçırılmış bir fırsat olarak nitelendirdi.
2025'in Frontier modelleri
2025'te o1 ve R1'in başlattığı muhakeme yeteneği, zirvedeki modellerin standardı haline geldi — ve bu, takip edilmesi güç bir hızda gerçekleşti. Mart'ta Google, Gemini 2.5 Pro'yu tanıttı; Mayıs'ta Anthropic Claude 4'ü (Opus 4 ve Sonnet 4) çıkardı, Ağustos'ta OpenAI GPT-5'i sundu; bunların arasında ise kimi zaman hızlı yanıt veren kimi zaman daha uzun düşünen ilk hibrit model olan Claude 3.7, GPT-4.5, Meta'nın Llama 4'ü ve xAI'ın Grok'u geldi. Yeni nesil iki çizgiyi birleştirdi: muhakeme modellerinin adım adım düşünmesi ve bağımsız biçimde hareket etme yeteneği (ajantik). Özellikle uzun süreli özerk programlama ön plana çıktı. Dürüst bir değerlendirme yapacak olursak: Laboratuvarlar her hafta kıyaslama rekoru kırmak için yarıştı ve her biri zirveyi kendisi için talep etti — gerçek ilerlemeler yaşandı, ancak sıkça kullanılan AGI sözcüğü, gerçekliğin ötesinde bir pazarlama aracı olarak kalmaya devam etti.