Хронологія ШІ
Хронологія, що показує: ШІ оголошували мертвим щонайменше тричі — і щоразу він повертався.
Аналітична машина Беббіджа: ідея комп'ютера
Історія ШІ починається не з комп'ютерів, а з їхньої ідеї. У 1830-х роках британський математик Чарльз Беббідж спроектував аналітичну машину і вперше докладно описав її у 1837 році — на папері це був перший у світі універсальний програмований обчислювач. Його проект випередив свій час на ціле століття: він уже мав арифметичний пристрій, який Беббідж називав mill, пам'ять (store), програмування через перфокарти і навіть умовні переходи — базові складові будь-якого сучасного комп'ютера. За його життя машину так і не збудували: вона виявилася надто складною для механіки XIX століття. Попри це, вона є далекою праматір'ю кожної обчислювальної машини — а отже, і апаратного забезпечення, на якому взагалі може працювати штучний інтелект. Для чесної оцінки: аналітична машина залишилася незавершеним проектом, і вона була обчислювачем, а не мислячою машиною. Вона заклала фундамент — обчислення, а не інтелект.
Ада Лавлейс: перша програма — і сміливе бачення
Чарльз Беббідж спроектував машину — але лише Ада Лавлейс збагнула, на що вона справді здатна. У 1843 році британська математик переклала статтю про аналітичну машину Беббіджа і додала власні нотатки, які значно перевершили оригінал за обсягом і глибиною. У своїй нотатці G вона описала метод, за допомогою якого машина мала обчислювати числа Бернуллі — це часто називають першою опублікованою комп'ютерною програмою. Ще далекогляднішою була її друга ідея: машина не обмежується числами, а може обробляти символи будь-якого роду і навіть складати музику. Так Лавлейс на ціле століття випередила ідею універсальної обробки даних. Для чесної оцінки: чи була вона справді першою програмісткою — питання дискусійне: сам Беббідж раніше схематично окреслював програми, а процедура для чисел Бернуллі виникла у спільному обговоренні з ним. Водночас Лавлейс вважала, що машина не здатна створити дійсно нового — заперечення, з яким Алан Тюрінг у 1950 році прямо не погодився.
Машина Тюрінга: Що взагалі означає обчислення
Перш ніж поставити питання, чи можуть машини мислити, потрібно було з'ясувати, що машина взагалі може обчислювати. На це питання відповів британський математик Алан Тюрінг у 1936 році в своїй статті «On Computable Numbers». У ній він описав напрочуд просту уявну модель — стрічку, голівку для читання-запису, кілька правил, — що пізніше отримала назву машина Тюрінга. З її допомогою Тюрінг точно визначив, що є обчислюваним, а що — ні. Його найважливіша думка: єдина універсальна машина Тюрінга може наслідувати будь-яку іншу. Це теоретична схема універсального комп'ютера — машини, що з правильною програмою може виконати все обчислюване. Тим самим Тюрінг став засновником інформатики і заклав фундамент, на якому ідея мислячих машин стала можливою. Чесна оцінка: машина Тюрінга — математична ідея, а не побудований пристрій, і йшлося про обчислюваність, а не про інтелект. Питання про те, чи можуть машини мислити, Тюрінг поставив лише у 1950 році. Назву «машина Тюрінга» запровадили інші.
Маккаллох і Піттс: Перший штучний нейрон
За тринадцять років до Дартмутської конференції, посеред війни, з'явилося справжнє свідоцтво про народження штучних нейронних мереж. Нейрофізіолог Воррен Маккаллох і самоук-логік Волтер Піттс — якому щойно виповнилося двадцять і в якого не було жодного академічного ступеня — опублікували 1943 року в Bulletin of Mathematical Biophysics статтю «A Logical Calculus of the Ideas Immanent in Nervous Activity». Їхня ідея була радикально простою: нейрон можна описати як бінарний перемикач, що спрацьовує за принципом «все або нічого», щойно сума його входів перевищує поріг. На основі чистої висловлювальної логіки вони довели, що мережі з таких елементів можуть обчислювати будь-яку логічну функцію — а мережі зі зворотними зв'язками мають навіть форму пам'яті. У заключній частині вони констатували, що їхні мережі здатні обчислювати те саме, що й машина Тюрінга. Так вони заклали першу математичну модель нейрона як логічного обчислювального елемента. Підводний камінь, що визначав наступне десятиліття: їхній нейрон не вмів навчатися.
Теорія інформації Шеннона: Народження біта
У 1948 році в Bell Labs вийшла стаття, що заклала основи цифрового світу: «A Mathematical Theory of Communication» Клода Шеннона. Шеннон показав, як виміряти інформацію математично — незалежно від її змісту. Він ввів біт як найменшу одиницю інформації і запровадив поняття ентропії: міру того, скільки невизначеності в середньому знімає повідомлення. Тим самим він заклав основи стиснення даних, безпомилкової передачі і, зрештою, кожного комп'ютера. Для ШІ це більше, ніж передісторія: поняття перехресної ентропії та дивергенції Кульбака–Лейблера, що нині слугують цільовими функціями при навчанні нейронних мереж, безпосередньо походять із теорії Шеннона. Чесна оцінка: Шеннон описував передавання повідомлень, а не мислення. Теорія інформації — математичний інструмент, на якому будується ШІ, але сама по собі вона не є штучним інтелектом.
Правило Хебба: як виникає навчання в мозку
У 1949 році канадський психолог Дональд Хебб опублікував книгу The Organization of Behavior і представив просту, але вагому ідею: якщо два пов'язаних нейрони регулярно збуджуються одночасно, зв'язок між ними зміцнюється. Тим самим Хебб уперше запропонував конкретний механізм того, як навчання може відбуватися на рівні окремих синапсів. Для ШІ це стало основним принципом: навчання означає коригування сили зв'язків — саме це й роблять штучні нейронні мережі, наприклад пізніші мережі Гопфілда. Для чесної оцінки: відомий вислів про те, що нейрони, які збуджуються разом, з'єднуються разом, — насправді не Хебба, а приписується нейронауковцю Карлі Шатц (1992). І правила Хебба самого по собі ще недостатньо для сучасного глибинного навчання, адже в ньому бракує цілеспрямованої корекції помилок.
Тест Тюрінга: гра в імітацію
Філософська основа машинного інтелекту та перший еталон штучного інтелекту. У 1950 році Alan Turing опублікував у журналі Mind статтю 'Computing Machinery and Intelligence' і переосмислив запитання 'Чи можуть машини думати?'. Замість філософських визначень Turing запропонував практичну 'гру в імітацію': людина-оцінювач аналізує текстові записи розмов між людиною та машиною. Оцінювач намагається визначити машину — машина проходить тест, якщо оцінювач не може надійно її розрізнити. Вирішальним є не правильність відповідей, а те, наскільки вони схожі на людські. Цей тест нерозрізненості можна узагальнити на всі людські досягнення — як вербальні, так і невербальні (робототехніка). Поведінковий підхід Turing заклав концептуальний фундамент для всіх досліджень у галузі штучного інтелекту та вплинув на ELIZA, ChatGPT і всі сучасні системи розмовного штучного інтелекту.
Logic Theorist: Перша програма-мислитель
Того самого літа, коли в Дартмуті виник термін «штучний інтелект», Аллен Ньюелл, Герберт Саймон і часто забутий програміст Кліфф Шоу продемонстрували те, що прийнято називати «першою програмою ШІ» — але з одним застереженням. Їхній Logic Theorist доводив математичні теореми: він звертався до висловлювальної логіки з «Principia Mathematica» Вайтгеда і Рассела та самостійно знаходив докази для 38 із перших 52 теорем. Вражав сам підхід: замість перебору всіх варіантів програма шукала евристично — оцінювала, які кроки варті уваги, і рухалась від мети назад. Для однієї теореми вона знайшла навіть коротший доказ, ніж оригінальний; за переказами, Рассел зрадів, тоді як науковий журнал відхилив надісланий доказ. Написано все це було мовою IPL — списковою мовою, яка передбачила LISP Маккарті. Обмеження: ігрові програми, як-от дашки Самюела, з'явилися раніше — Logic Theorist був першим, що навмисно намагався відтворити людське мислення на відкритому розумовому завданні.
Дартмутська конференція: день народження ШІ
Той історичний момент, коли штучний інтелект народився як наукова галузь. З 18 червня по 17 серпня 1956 року в Дартмутському коледжі відбулася перша AI Summer Research Conference. Джон Маккарті, Марвін Мінський, Натаніел Рочестер і Клод Шеннон мали сміливе бачення: 'Кожен аспект навчання або будь-яка інша ознака інтелекту можуть бути описані настільки точно, що машина зможе їх змоделювати.' Під час цього восьмитижневого семінару Маккарті запровадив термін 'Artificial Intelligence' і тим самим заклав фундамент нової наукової дисципліни. Деякі учасники приїжджали лише на кілька тижнів, інші залишалися весь час: Герберт Саймон і Аллен Ньюелл, наприклад, продемонстрували в перші тижні свій Logic Theorist, тоді як Рей Соломонофф був присутній усі вісім тижнів — дискусії велися на верхньому поверсі математичного факультету. З цієї конференції виросли три історичні центри ШІ: Університет Карнегі — Меллон з Ньюеллом і Саймоном, MIT із Мінськом і Стенфорд із Маккарті.
Персептрон: перша навчальна нейронна мережа
Народження машинного навчання через перший нейрон штучного інтелекту, здатний навчатися. 1957 року Френк Розенблатт у Cornell Aeronautical Laboratory розробив персептрон — першу нейронну мережу, яка могла навчатися на досвіді. У січні 1957 року він опублікував технічний звіт 'The Perceptron: A Perceiving and Recognizing Automaton' (Project PARA, Report 85-460-1). Офіційна наукова публікація вийшла у листопаді 1958 року в журналі Psychological Review. Натхненний біологічними нейронами персептрон поєднував зважені входи через функцію Хевісайда у бінарні виходи. Інноваційне правило навчання персептрона коригувало ваги щоразу, коли приклад класифікувався неправильно, — ранній попередник навчання в сучасних нейронних мережах (його не слід плутати з пізнішим дельта-правилом Відроу і Гоффа, 1960). Спочатку змодельований на IBM 704 і публічно оголошений 1958 року, апаратний пристрій Mark I Perceptron було завершено лише близько 1960 року. Незважаючи на обмеженість лінійно роздільними задачами, персептрон заклав концептуальний фундамент для всіх наступних нейронних архітектур.
LISP: мова ШІ
У 1958 році Джон Маккарті в MIT розробив мову програмування, що поставила символічні обчислення в центр: LISP — скорочення від List Processing. Замість обробки переважно чисел LISP маніпулював списками символів — саме те, що потребував символічний ШІ. Протягом десятиліть LISP залишався мовою досліджень у галузі ШІ: в ньому створювали експертні системи, системи обробки мови і планувальні системи. Мова Маккарті також запровадила ідеї, які сьогодні стали самоочевидними: рекурсія, автоматичне збирання сміття (Garbage Collection), функції як дані та інтерактивне обчислення. Стів Рассел реалізував теоретичний механізм eval Маккарті як перший інтерпретатор — і тим самим зробив LISP придатним до виконання. Для чесної оцінки: LISP не був першою мовою програмування вищого рівня (Fortran з'явився у 1957 році), але він є другою найстарішою використовуваною досі — і для ШІ найвпливовішою.
Артур Самюел: Самонавчальний ШІ і термін «машинне навчання»
За кілька років до Дартмутської конференції Артур Самюел з IBM навчив машину грати в шашки — і водночас вчитися. Його програма запрацювала у 1952 році на IBM 701; вирішальним, проте, стало те, що було написано в його статті 1959 року «Some Studies in Machine Learning Using the Game of Checkers». Програма вдосконалювалася сама: вона зіграла десятки тисяч партій проти себе і коригувала ваги своєї функції оцінювання залежно від результатів. У назві цієї статті термін «Machine Learning» (машинне навчання) зафіксований вперше в його сучасному значенні — Самюел вважається його автором. Річард Саттон пізніше відзначив самогру Самюела як найперше застосування навчання з тимчасовою різницею (Temporal-Difference Learning), що лежить в основі сучасного навчання з підкріпленням. Телевізійна демонстрація 1956 року і широко цитована перемога над нібито гросмейстером зробили заголовки — однак обидва факти були сильно перебільшені: проти справді сильних гравців програма програвала впевнено, а повністю шашки були вирішені лише десятиліттями пізніше.
DENDRAL: піонер експертних систем
У середині 1960-х ШІ зробив вирішальний поворот. В Стенфордському університеті Едвард Фейгенбаум і генетик та лауреат Нобелівської премії Джошуа Ледерберг розпочали роботу над DENDRAL — програмою, яку часто вважають першою експертною системою і яка, безперечно, була першою, що застосувала ШІ до наукових міркувань. На відміну від попередніх систем, що проводили загальний пошук, DENDRAL використовував знання хіміків-фахівців: із даних мас-спектрометра він виводив структуру органічних молекул. Урок, здобутий з цього досвіду, визначив ціле десятиліття ШІ: знання — сила. Перемагає не найрозумніший загальний алгоритм, а той, хто має найбільше фахових знань. Таким чином DENDRAL проклав шлях до буму експертних систем у 1980-х роках. Для чесної оцінки: DENDRAL сам по собі був успішним дослідницьким проектом, що тривав роками, — не єдиним продуктом. Але його метод — ручного введення всіх знань — згодом став ахіллесовою п'ятою: він зробив комерційні експертні системи 1980-х крихкими і дорогими, що сприяло настанню ШІ-зими.
Нечітка логіка: логіка невизначеності
Важливий математичний прорив у роботі з невизначеністю та апроксимаційними міркуваннями. 1965 року Лотфі Заде опублікував в Університеті Каліфорнії у Берклі (UC Berkeley) основоположну статтю 'Fuzzy Sets' — відповідь на нездатність класичної логіки працювати з розмитою та неповною інформацією. Його інновація полягала у розумінні того, що люди приймають рішення на основі неточної, нечислової інформації. Нечітка логіка (Fuzzy Logic) дозволяє ступені належності між 0 і 1 на противагу двійковій логіці 'так/ні'. Набравши нині понад 100 000 цитувань, праця Заде стала основою для м'яких обчислень і сучасних підходів у ШІ. 'Точна логіка неточного' дала змогу математично моделювати невизначеність, неповноту та суперечливу інформацію. Нечітка логіка знайшла застосування в експертних системах, системах керування, а пізніше і в сучасних архітектурах ШІ для нечітких процесів прийняття рішень.
ELIZA: перший чат-бот
Народження діалогу людини з машиною та ненавмисний експеримент із людської психології. Приблизно з 1964 по 1966 рік Джозеф Вейзенбаум у MIT розробив ELIZA — першу програму, спеціально створену для розмов із людьми. Із напрочуд лаконічним кодом і простою технологією зіставлення зразків (pattern matching) ELIZA імітувала діалоги, особливо у варіанті DOCTOR як рогеріанський терапевт. Дивовижа полягала не в технології, а в людській реакції: користувачі, зокрема власна секретарка Вейзенбаума, розвивали емоційні прив'язаності до програми і навіть вимагали приватності для своїх 'сеансів терапії'. Вейзенбаум рано описав і розкритикував це явище — схильність приписувати людські якості примітивним програмам. Сам термін 'ефект ELIZA' був введений і популяризований пізніше, вже у 1990-х роках. ELIZA довела силу простої ілюзії і заклала основу для всіх сучасних чат-ботів.
«Перцептрони»: Книжка, що спричинила зиму ШІ
У 1969 році дослідники МТІ Марвін Мінскі та Сеймур Папперт опублікували книжку «Перцептрони». Із математичною строгістю вони показали, що може і чого не може одношаровий перцептрон — найпростіша форма нейронної мережі. Їхній найвідоміший результат: така мережа не може навіть навчитися простій функції XOR, оскільки її не можна розділити однією прямою. Вплив був величезним: довіра до нейронних мереж підупала, фінансування зникло більш ніж на десятиліття — суттєвий внесок у першу зиму ШІ. Чесна оцінка: Мінскі і Папперт аж ніяк не спростували нейронні мережі в цілому. Вони аналізували лише одношаровий варіант; багатошарові мережі вирішують XOR без жодних проблем — що пізніше, починаючи з 1986 року, стало практично можливим завдяки методу зворотного поширення помилки. Оповідь про те, що книжка самотужки знищила дослідження, — це почасти міф. Але зниження фінансування і уваги було цілком реальним.
Шейкі: перший інтелектуальний мобільний робот
Народження автономної робототехніки через інтеграцію міркування, планування і фізичної дії. З 1966 по 1972 рік команда Чарльза Розена в SRI International розробляла Шейкі — першого мобільного робота, здатного розмірковувати над власними діями. Двометровий робот поєднував телекамеру, сонарний далекомір, процесори і 'котячі вуса' як датчики зіткнення в єдину автономну систему. Визначні можливості Шейкі охоплювали сприйняття навколишнього середовища, висновки з неявних фактів, складання планів і компенсацію помилок — усе це керувалося природною англійською мовою. Фінансований ARPA (нині DARPA) проект вперше поєднав логічне міркування з фізичною дією і заклав основи для автономних систем. Інновації Шейкі сприяли розробці алгоритму пошуку A*, методів графа видимості та впливового комп'ютерного варіанту перетворення Хафа (Duda & Hart, SRI 1972). 1970 року журнал Life Magazine назвав Шейкі 'першою електронною особою'.
SHRDLU: Розуміння мови у світі кубиків
Близько 1970 року Террі Вінограде в МТІ створив програму, що вразила фахівців: SHRDLU. Їй можна було давати вказівки простою англійською мовою — наприклад, поставити червоний куб на зелений блок — і вона виконувала їх у віртуальному світі з різнокольорових кубиків. SHRDLU розуміла більше, ніж просто команди: вона вирішувала неоднозначні речення, пам'ятала сказане, відповідала на запитання про свій світ і навіть могла пояснити, чому вона щось зробила. Для багатьох це був вражаючий апогей символічного ШІ — доказ того, що машини можуть надзвичайно добре розуміти мову. Чесна оцінка: розуміння SHRDLU працювало лише у її крихітному, замкненому світі кубиків. На реальний, неохопний світ з його нескінченними повсякденними знаннями перенести його не вдалося. Тож SHRDLU з часом стала повчальним прикладом обмежень таких мікросвітів — сам Вінограде згодом відійшов від цього підходу.
Приховані марківські моделі встановлено
Математична основа для розпізнавання мовлення та моделювання послідовностей. З кінця 1960-х до 1970 року Леонард Баум, Ллойд Велч і Тед Петрі в Institute for Defense Analyses розробили приховані марківські моделі (Hidden Markov Models) та встановили алгоритм Баума-Велча. Ці статистичні моделі моделювали приховані стани в послідовностях і запропонували один із перших практичних підходів до виявлення латентних станів у часозалежних даних. З середини 1970-х HMM знайшли своє перше практичне застосування у розпізнаванні мовлення — завдяки Джеймсу Бейкеру в Carnegie Mellon, а пізніше в IBM. Метод трансформував автоматичне розпізнавання мовлення від простого зіставлення шаблонів до статистичних підходів. HMM стали стандартом для моделювання послідовностей у багатьох галузях: від біоінформатики через фінансовий аналіз до розпізнавання жестів. Алгоритм Баума-Велча, пізніше визнаний окремим випадком алгоритму Expectation-Maximization, загально сформульованого у 1977 році, заклав фундамент для сучасних імовірнісних методів машинного навчання.
Пролог: Програмування за допомогою логіки
У 1972 році в Марсельському університеті виникла мова програмування, що мислила зовсім інакше, ніж всі інші: Пролог — скорочення від Programmation en Logique. Її творці Ален Колмероє і Філіп Руссель — спираючись на теорію Роберта Ковальскі — переслідували бездоганну ідею. Замість того щоб крок за кроком вказувати комп'ютеру, як щось зробити, у Пролозі описують лише факти й правила певного світу. Логічні висновки система виводить сама. Пролог став найважливішою мовою символічного ШІ: в експертних системах, в обробці мови і як серце амбіційного японського проекту п'ятого покоління. Чесна оцінка: логічне програмування так і не стало домінуючою парадигмою ШІ. Великий японський проект, що цілком спирався на Пролог, помітно не виправдав своїх обіцянок. І прорив завдячує не менше теорії Роберта Ковальскі, ніж самій мові.
Перша зима ШІ
Час різкого скорочення дослідницького фінансування та занепаду довіри до штучного інтелекту. Після перебільшених обіцянок 1960-х років настала гірка реальність: програми ШІ могли вирішувати лише тривіальні версії тих проблем, які мали вирішувати насправді. У Великій Британії доповідь Лайтхілла 1973 року містила нищівну критику, після чого Рада з наукових досліджень скоротила фінансування некерованих досліджень ШІ. У США DARPA — під впливом поправки Менсфілда — відмовилася від нецільових досліджень на кілька років; різке скорочення фінансування розуміння мовлення у 1974/75 роках вдарило по проекту в Університеті Карнегі-Меллон і призвело до розірвання контракту на 3 мільйони доларів. Ця зима тривала приблизно до 1980 року і навчила спільноту ШІ важливого уроку: реалістичні очікування — ключ до сталого прогресу.
Неокогнітрон: Прабатько згорткових нейронних мереж
У 1980 році японський дослідник Куніхіко Фукусіма представив нейронну мережу, що набагато випередила свій час: неокогнітрон. Його взірцем була природа — точніше зорова кора головного мозку, яку лауреати Нобелівської премії Хьюбел і Візел досліджували на кішках. Там прості та складні клітини поетапно обробляють зорові подразники. Фукусіма відтворив цей принцип: багатошарова мережа, яка розпізнає ознаки пошарово — незалежно від того, де вони знаходяться у зображенні. Таким чином неокогнітрон передбачив ключові ідеї сучасних згорткових нейронних мереж (CNN), що панують у розпізнаванні зображень із 2012 року. Чесна оцінка: неокогнітрон ще не використовував зворотне поширення помилки і не міг навчатися так, як сучасні CNN. Лише зворотне поширення помилки (1986) і LeNet Яна ЛеКуна (1989) перетворили цю архітектуру на практично навчану мережу. Піонерська роль Фукусіми досі часто недооцінюється.
Епоха експертних систем 1980-х
1980-ті роки позначають розквіт експертних систем, коли ШІ вперше здобуває комерційний успіх. Компанії по всьому світу впроваджують ці засновані на правилах програми ШІ, що відтворюють знання людських експертів у спеціалізованих галузях. Індустрія ШІ зростає з кількох мільйонів доларів у 1980 році до мільярдів у 1988 році. Дві третини компаній зі списку Fortune 500 використовують цю технологію. Системи на кшталт MYCIN досягають у дослідженнях рівня прийнятності своїх терапевтичних рекомендацій близько 65% — нарівні з університетськими експертами, хоча MYCIN так і не застосовується у клінічній практиці. Проте бум закінчується за класичною схемою економічної бульбашки, коли десятки компаній зазнають краху і межі технології стають очевидними.
Мережі Хопфілда: Асоціативна памʼять
Відродження нейронних мереж через можливості асоціативного зберігання. У 1982 році Джон Хопфілд опублікував революційну статтю «Neural networks and physical systems with emergent collective computational abilities» у PNAS. Його інновація полягала у поєднанні нейробіології та статистичної фізики: мережі Хопфілда функціонують як памʼять з адресацією за вмістом, яка реконструює повні патерни з неповних або зашумлених вхідних даних. Рекурентна архітектура з симетричними двонаправленими зʼєднаннями сходиться до атракторів фіксованої точки через функцію енергії Ляпунова. Система «котиться вниз» до найближчого збереженого спогаду. Робота Хопфілда знову розпалила інтерес до нейронних мереж та заклала теоретичний фундамент для сучасних RNN. Правило навчання Хебба уможливило асоціативне зберігання патернів — прорив для розуміння біологічних та штучних систем памʼяті.
Алгоритм зворотного поширення помилки
Народження сучасного машинного навчання через елегантний алгоритм навчання. У жовтні 1986 року Девід Румельхарт, Джеффрі Гінтон та Рональд Вільямс опублікували в Nature статтю 'Learning representations by back-propagating errors'. Цей алгоритм суттєво змінив навчання нейронних мереж, надавши ефективний метод налаштування ваг у багатошарових мережах. Метод багаторазово коригує ваги з'єднань, щоб мінімізувати різницю між фактичним та бажаним результатом. Ключова інновація полягала у здатності навчати приховані шари, які автоматично розпізнають важливі ознаки задачі. Математичні основи були закладені раніше — зокрема Полом Вербосом (1974) та Сеппо Ліннайнмаа (1970) — проте саме ця стаття широко популяризувала зворотне поширення помилки та переконливо продемонструвала його ефективність. Зворотне поширення помилки стало робочим конем машинного навчання та уможливлює всі сучасні застосування глибинного навчання.
Друга зима ШІ
Крах ринку спеціалізованого апаратного забезпечення ШІ та провал експертних систем. У 1987 році ринок Lisp-машин обвалився, коли комп'ютери Apple та IBM стали дешевшими й потужнішими за дорогі системи, спеціалізовані для ШІ. Експертні системи на кшталт XCON виявилися надто трудомісткими у супроводі та занадто негнучкими для реальних застосувань. Джек Шварц, новий керівник IPTO, назвав експертні системи 'вправним програмуванням' і 'глибоко і жорстоко' скоротив фінансування ШІ. Занепад виробників Lisp-машин розтягнувся на кілька наступних років — лідер ринку Symbolics оголосив про банкрутство лише у 1993 році, — що призвело до більш тривалої та глибокої зими, ніж перша 1974 року. Ця зима тривала приблизно до 1993 року і поклала кінець комерційному ажіотажу навколо експертних систем і спеціалізованого апаратного забезпечення ШІ — проте символічний ШІ як науковий напрям залишився.
UCI ML Repository: бібліотека наборів даних
Демократизація досліджень у машинному навчанні через стандартизовані еталонні набори даних. У 1987 році аспірант UCI David Aha разом з однокурсниками заснував UCI Machine Learning Repository як FTP-архів — колекцію баз даних, теорій предметних областей і генераторів даних для емпіричного аналізу ML-алгоритмів. Ця ініціатива усунула критичний брак стандартизованих загальнодоступних наборів даних для зростаючої ML-спільноти. Репозиторій став основним джерелом наборів даних для машинного навчання у всьому світі та надав студентам, викладачам і дослідникам доступ до якісних еталонних наборів. Протягом років він цитувався десятки тисяч разів і тим самим увійшов до числа найбільш використовуваних ресурсів всієї інформатики. Сьогодні під управлінням Center for Machine Learning and Intelligent Systems UCI ML Repository пропонує набори даних з охорони здоров'я, фінансів та незліченної кількості інших галузей. Репозиторій фундаментально демократизував освіту та дослідження у сфері машинного навчання.
Байєсові мережі: міркування в умовах невизначеності
Поки нейронні мережі та експертні системи змагалися за увагу, Джуда Перл в UCLA будував третю велику опору ШІ: міркування в умовах невизначеності. У своїй книзі Probabilistic Reasoning in Intelligent Systems (1988) він популяризував байєсові мережі — графи, у яких вузли є змінними, а ребра — їхніми ймовірнісними залежностями. Замість жорстких правил якщо-то і ситуативних коефіцієнтів впевненості експертних систем вони дозволяли чисто поєднувати знання і невизначеність та ефективно робити висновки. Байєсові мережі визначали ШІ та машинне навчання 1990-х і 2000-х; у 2011 році Перл отримав премію Тюрінга і згодом звернувся до каузальних висновків — до питання чому за даними. Для чесної оцінки: сама теорема Баєса походить із XVIII століття; здобуток Перла полягав не у винайденні ймовірності, а в тому, що він зробив ймовірнісні міркування структурованими та обчислюваними для ШІ.
Теорема про універсальну апроксимацію
Математичний доказ теоретичної потужності нейронних мереж. У 1989 році Kurt Hornik, Maxwell Stinchcombe та Halbert White опублікували фундаментальну статтю 'Multilayer feedforward networks are universal approximators' у журналі Neural Networks. Їхній строгий доказ показав: навіть один прихований шар з достатньою кількістю нейронів може апроксимувати будь-яку вимірювану за Борелем функцію з довільною точністю. Ця теоретична основа математично обґрунтувала застосування нейронних мереж і запевнила дослідників, що достатньо великі мережі здатні моделювати складні нелінійні залежності реальних даних. Паралельно з'явилися схожі праці George Cybenko та Funahashi з різними техніками. Теорема встановила універсальність шляхом розширення прихованого шару і стала теоретичним стовпом для всіх наступних розробок глибинного навчання. Hornik та ін. створили математичну довіру, яка уможливила відродження нейронних мереж у 1990-х роках.
World Wide Web: винахід WWW
Винахід, який пов'язав світ і заклав основу для сучасних джерел даних ШІ. 12 березня 1989 року Тім Бернерс-Лі подав до CERN свою пропозицію щодо 'системи управління інформацією' — спочатку названої 'Mesh', а згодом 'World Wide Web'. Як британський учений він усвідомив необхідність автоматизованого обміну інформацією між науковцями по всьому світу. До кінця 1990 року він розробив три фундаментальні веб-технології: HTML (HyperText Markup Language), HTTP (HyperText Transfer Protocol) та URI/URL. Перший веб-сервер info.cern.ch працював на комп'ютері NeXT, разом із першим браузером/редактором 'WorldWideWeb.app'. У 1991 році Мережа стала загальнодоступною. Експоненційне зростання з приблизно 10 сайтів (1992) до кількох сотень тисяч (1996) створило основу даних для пізніших систем ШІ. Без Мережі не було б наборів даних Common Crawl і великих мовних моделей.
LeNet та народження згорткових нейронних мереж
Перше успішне практичне застосування згорткових нейронних мереж. У 1989 році Янн ЛеКун в AT&T Bell Labs вперше поєднав зворотне поширення помилки (Backpropagation) з архітектурою CNN для розпізнавання рукописного тексту. Ця система — пізніше відома як прародителька родини LeNet — розпізнавала рукописні поштові індекси для Поштової служби США із помітною точністю: близько 1% помилок на навчальних даних і приблизно 5% на раніше невидимих тестових даних; якщо мережі дозволяли відхиляти невпевнені випадки, кількість помилок на цифрах, що залишилися, знижувалася приблизно до 1%. Ця продуктивність довела практичну перевагу CNN над традиційними підходами й заклала підґрунтя для сучасного комп'ютерного зору. Вона продемонструвала, що нейронні мережі — не лише теоретичні конструкції, а й здатні розв'язувати реальні бізнес-задачі. Архітектура пройшла кілька ітерацій удосконалення й у 1998 році переросла в LeNet-5 із точністю 99,05% на MNIST. Ця робота заклала фундамент для всіх сучасних CNN-архітектур.
TD-Gammon: Навчання через гру проти себе
Задовго до AlphaGo програма в IBM показала, на що здатне навчання з підкріпленням: у 1992 році Джеральд Тезауро представив TD-Gammon — нейронну мережу, що навчилася грати в нарди. Вражав метод навчання. TD-Gammon тренувався майже виключно, граючи сотні тисяч партій проти себе і навчаючись на їхніх результатах — методом Temporal Difference, що поступово коригує прогнози. Ніхто не мусив показувати йому гарні ходи. Мережа досягла приблизно рівня світового класу і навіть відкрила дебютні ходи, які потім перейняли самі людські профі. Чесна оцінка: яким би вражаючим не був успіх, довгий час його не вдавалося перенести на інші ігри. Одна з причин — кубик: нарди є грою з елементом випадку, і випадковість сама по собі забезпечує різноманітність під час тренування — перевага для самогри, якої немає у детерміністичних іграх, як-от шахи чи го.
Q-навчання: фундамент навчання з підкріпленням
1992 року Кріс Воткінс і Пітер Дайан опублікували математичний доказ збіжності Q-навчання — алгоритму, якому судилося суттєво змінити світ ШІ. Основну ідею Воткінс розробив ще 1989 року у своїй докторській дисертації 'Learning from Delayed Rewards' в King's College Cambridge. Q-навчання вирішувало фундаментальну проблему: як агент може діяти оптимально, не маючи моделі свого середовища? Відповідь виявилася елегантною — через покрокову оптимізацію Q-функції, яка присвоює значення кожній парі стан-дія. Доказ збіжності 1992 року показав: за нескінченної дослідницької активності Q-навчання гарантовано знаходить оптимальну стратегію для будь-якої скінченної задачі Маркова з прийняттям рішень. Цей безмодельний метод став наріжним каменем сучасного навчання з підкріпленням. Від робототехніки до фінансових ринків, від ігор до автономних систем — Q-навчання застосовується всюди. Наприкінці 2013 року DeepMind представив глибоку версію — Deep Q-Networks (DQN) (публікація в Nature у 2015 році) — і досяг людського або надлюдського рівня на більшості ігор Atari. Донині Q-навчання — передусім у формі Deep Q-Network — є ключовим компонентом незліченних систем ШІ.
Penn Treebank: синтаксична анотація змінює NLP
Створення фундаментального корпусу для сучасних досліджень синтаксичного розбору. 1993 року Мітчелл Маркус, Беатріс Санторіні та Мері Енн Марцінкевич опублікували основоположну статтю 'Building a Large Annotated Corpus of English: The Penn Treebank' у журналі Computational Linguistics. Більш ніж 4,5 мільйона слів американської англійської мови було розмічено частинами мови, а близько 3 мільйонів з них — детальною синтаксичною (скелетно розібраною) анотацією, що суттєво змінило комп'ютерну лінгвістику. Двоетапна процедура поєднувала автоматичне POS-теґування з ручним коригуванням для досягнення виняткової якості анотації. За весь час реалізації проекту — близько семи років (1989–1996) — та в розширеному Penn Treebank II загалом було створено 7 мільйонів слів з POS-теґами, 3 мільйони текстів з скелетним розбором і 2 мільйони структур предикат-аргумент. Penn Treebank утвердив емпіричні методи в комп'ютерній лінгвістиці і став основою для сучасних алгоритмів синтаксичного розбору. Донині Penn Treebank слугує сучасним NLP-системам важливим еталонним тестом для оцінки синтаксичного розбору та мовного моделювання.
AdaBoost: слабкі учні стають сильними
1995 року Йоав Фройнд і Роберт Шапіре розробили AdaBoost (Adaptive Boosting) — алгоритм, що суттєво змінив машинне навчання. Їхня ключова ідея: комбінувати безліч 'слабких учнів' у високоточну прогнозну модель. Слабкий учень лише незначно перевершує випадкове вгадування — але сотні таких учнів разом можуть досягати вражаючих результатів. AdaBoost адаптується: хибні прогнози отримують більшу вагу під час наступного проходу. Так система автоматично зосереджується на складних випадках. Теоретична елегантність переконала всіх — Фройнд і Шапіре довели, що похибка навчання спадає експоненційно швидко за умови, що кожен слабкий учень перевершує випадковість. У 2003 році вони отримали за обґрунтування теорії бустингу премію Геделя — одну з найпрестижніших нагород у теоретичній інформатиці. AdaBoost знайшов практичне застосування в біології, комп'ютерному зорі та розпізнаванні мовлення. Цей метод заклав фундамент для сучасних ансамблевих методів і надихнув ціле покоління бустинг-алгоритмів аж до XGBoost.
Метод опорних векторів: класифікація з максимальним зазором
Встановлення елегантних геометричних підходів для надійної класифікації. У 1995 році Corinna Cortes та Vladimir Vapnik з AT&T Bell Labs опублікували фундаментальну статтю 'Support-Vector Networks' у журналі Machine Learning. Метод опорних векторів (SVM) розширив ранній підхід Vapnik та Chervonenkis до максимального зазору 1964 року ('Generalized Portrait') до практичного розв'язання для нероздільних навчальних даних завдяки інновації 'Soft Margin'. Основний принцип полягає у побудові лінійних роздільних поверхонь у дуже високовимірних просторах ознак через нелінійні перетворення вхідних даних. Ядровий трюк (Kernel Trick) 1992 року уможливив ефективне обчислення без явного перетворення. Метод опорних векторів максимізує зазор між класами і тим самим забезпечує високу здатність до узагальнення. Зі десятками тисяч цитувань стаття стала однією з найбільш цитованих праць у машинному навчанні та домінувала у задачах класифікації аж до революції глибинного навчання. Метод опорних векторів залишався надійним, інтерпретованим та ефективним для високовимірних задач.
WordNet: семантична мережа мови
Перший лексичний словник, побудований як семантична мережа для комп'ютерної лінгвістики. У листопаді 1995 року Джордж Міллер опублікував основоположну статтю 'WordNet: A Lexical Database for English' у журналі Communications of the ACM, представивши свою концепцію, розроблювану з 1986 року. WordNet організовує англійські іменники, дієслова, прикметники та прислівники в синсети — когнітивні групи синонімів, пов'язані семантичними та лексичними відношеннями. Ця структура відображає семантичну пам'ять людини та забезпечує навігацію крізь мережі слів і понять, насичені значенням. Машинозчитувані словники існували й раніше, але WordNet був першим, що послідовно моделював лексику як мережу синсетів і семантичних відношень, поєднавши традиційну лексикографічну інформацію із сучасною обробкою даних. Розпочавши розробку у 1986 році, Міллер та його команда в Прінстоні перетворили WordNet на основу для ієрархій ImageNet і сучасних систем обробки природної мови. Структура семантичної мережі вплинула на всі наступні графи знань і техніки ембедингу.
PageRank: алгоритм Google вартістю в мільярди доларів
1996 року два аспіранти Стенфорду розробили алгоритм, який мав суттєво змінити Інтернет. Ларрі Пейдж і Сергій Брін розпочали проект 'BackRub' з новаторською ідеєю: важливість вебсторінки визначається не лише вмістом, а й посиланнями, що ведуть на неї. Як і в науковому цитуванні: що частіше на сторінку посилаються, то важливіша вона. Алгоритм PageRank моделює 'випадкового серфера', який довільно клікає по Мережі. Що частіше випадковий серфер потрапляє на сторінку через структуру посилань, то вищим є її рейтинг. Вебкраулер Пейджа стартував у березні 1996 року з його власної сторінки в Стенфорді. Офіційна публікація статті про PageRank відбулася у січні 1998 року як Stanford Technical Report. До серпня 1996 року BackRub виявив близько 75 мільйонів URL-адрес — тобто адрес, знайдених через посилання, з яких лише частину було фактично проіндексовано. Навіть ранній стенфордський прототип видавав більш релевантні результати, ніж тогочасні пошукові сервіси — Excite чи Yahoo!. Стенфорд отримав патент і 2005 року продав свої 1,8 мільйона акцій Google за 336 мільйонів доларів. З університетського проекту виросла одна з найуспішніших пошукових систем — і фундамент сучасного веб-ШІ.
Deep Blue перемагає Каспарова
Перша перемога машини над чинним чемпіоном світу з шахів в умовах турніру. 11 травня 1997 року Deep Blue вписав своє ім'я в історію, коли суперкомп'ютер IBM переміг Гаррі Каспарова в матчі-реванші в Нью-Йорку з рахунком 3,5:2,5. Після поразки 1996 року IBM докорінно переробив систему: нові шахові чіпи подвоїли швидкість до 200 мільйонів позицій за секунду, покращені бази даних ендшпілів і консультації гросмейстерів підвищили силу гри. Вирішальна шоста партія тривала лише одну годину — після жертви конем Каспаров швидко потрапив в об'єктивно програшну позицію й здався вже на 19-му ході, що стало безпрецедентним моментом у його кар'єрі. Перемога вперше продемонструвала перевагу комп'ютерів у складному стратегічному мисленні й стала переломним моментом у суспільному сприйнятті ШІ. Призовий фонд у 700 000 доларів для Deep Blue підкреслив історичне значення цього тріумфу машинного інтелекту.
LSTM: Long Short-Term Memory
Вирішення проблеми зникаючого градієнта та народження ефективного моделювання послідовностей. 15 листопада 1997 року Сепп Хохрайтер та Юрген Шмідхубер опублікували революційну статтю «Long Short-Term Memory» у Neural Computation. Їхня інновація вирішила фундаментальну проблему рекурентних мереж: зникнення градієнтів на довгих послідовностях. LSTM запровадив спеціальні комірки памʼяті з механізмами вентилів, які забезпечують постійний потік помилки через тисячі часових кроків. Мультиплікативні вентилі навчаються відкривати та закривати доступ до постійної каруселі помилки. З O(1)-складністю на часовий крок та локальним навчанням LSTM значно перевершив усі тодішні методи RNN. Система вперше вирішила складні проблеми з довгими часовими затримками, які раніше були нерозвʼязними. LSTM став основою для сучасного розпізнавання мовлення, перекладу та аналізу часових рядів.
MNIST: стандарт машинного навчання
Створення одного з найважливіших еталонних наборів даних для початківців у комп'ютерному зорі. У 1998 році Ян Лекун, Коріна Кортес і Крістофер Бьорджес представили набір даних MNIST — куровану колекцію рукописних цифр, яка стала 'Hello World' машинного навчання. Базуючись на Special Database 3 та Special Database 1 від NIST, MNIST містить 70 000 нормалізованих зображень розміром 28x28 пікселів у відтінках сірого: 60 000 для навчання та 10 000 для тестування. Ретельна попередня обробка та антиаліасінг зробили MNIST ідеальним для навчальних цілей без трудомісткої підготовки даних. MNIST з'явився у статті 'Gradient-based learning applied to document recognition' (Proceedings of the IEEE, листопад 1998). Набір даних став стандартним еталоном для незліченних алгоритмів машинного навчання і дозволив цілим поколінням студентів отримати перший досвід у комп'ютерному зорі. MNIST демократизував освіту з машинного навчання у всьому світі.
Випадковий ліс: прорив методів ансамблювання
2001 року Лео Брейман з UC Berkeley опублікував одну з найцитованіших статей з машинного навчання за всі часи: 'Random Forests'. Його алгоритм суттєво розвинув концепцію методів ансамблювання і став одним з найважливіших інструментів сучасної статистики. Основна ідея була геніально простою: замість одного дерева рішень навчають сотні випадкових дерев і дають їм голосувати. Кожне дерево бачить лише випадкову підмножину даних і ознак — 'бегінг' у поєднанні з рандомізацією ознак. Результат: різко знижена проблема перенавчання та виняткова точність прогнозів. Брейман також забезпечив теоретичне підґрунтя з межами помилки узагальнення на основі сили дерев і кореляції. Випадковий ліс став одним з найпростіших у обслуговуванні алгоритмів машинного навчання типу 'plug-and-play' — мінімальне налаштування, максимальна продуктивність. Від біоінформатики до аналізу фінансових ринків Випадковий ліс і сьогодні домінує в незліченних застосуваннях та зробив методи ансамблювання стандартним інструментом — паралельно з напрямом бустингу, з якого згодом виник XGBoost.
Заснування Future of Humanity Institute
Інституціоналізація досліджень безпеки ШІ та оцінки екзистенційних ризиків. 2005 року Нік Бостром заснував при Оксфордському університеті Future of Humanity Institute як мультидисциплінарну дослідницьку групу. Починаючи лише з трьох дослідників, FHI перетворився на інтелектуальний центр тяжіння для блискучих, нерідко нестандартних мислителів і виріс приблизно до 40 співробітників. Інститут заснував нові дослідницькі напрямки: екзистенційні ризики, узгодженість ШІ (AI Alignment), врядування у сфері ШІ (AI Governance) та довгостроковізм (Longtermism). Ранні публікації Бострома, зокрема 'The fable of the dragon tyrant' (2005) та 'What is a singleton?' (2006), формували мислення щодо безпеки ШІ. Незважаючи на відносно коротке 19-річне існування аж до закриття у 2024 році, FHI здобув значні результати і запропонував новий спосіб осмислення великих питань людства. Академічна легітимізація досліджень у сфері безпеки ШІ через Оксфорд надала цій галузі наукового авторитету.
DARPA Grand Challenge: народження автономного водіння
8 жовтня 2005 року синій Volkswagen Touareg на ім'я 'Stanley' вписав своє ім'я в історію. Під керівництвом Себастьяна Труна команда Stanford Racing Team виграла DARPA Grand Challenge — перші у світі успішні змагання автономних транспортних засобів. Після повного провалу всіх учасників у 2004 році (найкращий результат: 7,4 милі, тобто 11,9 км) Stanley подолав усю 212-кілометрову пустельну трасу за 6 годин 53 хвилини. П'ять автомобілів досягли фінішу, чотири з них — у межах відведеного часу, що стало разючим прогресом порівняно з нульовим результатом попереднього року. Stanley пройшов через три вузькі тунелі, понад 100 гострих поворотів і небезпечний перевал Beer Bottle Pass із прірвами. Інновація полягала в програмному забезпеченні, а не в апаратному: лідарні датчики, машинне навчання і журнал людських рішень за кермом наділили Stanley можливостями, яких не мав жоден робот раніше. Призовий фонд у 2 мільйони доларів став лише початком — Stanley заклав підґрунтя для Tesla Autopilot, Google Waymo і всієї індустрії автономних транспортних засобів. Сьогодні Stanley зберігається в Смітсонівському музеї.
Глибинні мережі довіри: ренесанс глибинного навчання
У 2006 році Джеффрі Гінтон змінив ШІ-світ своєю важливою статтею про Deep Belief Networks (глибинні мережі довіри). Після багаторічної непопулярності нейронних мереж він показав, як ефективно навчати глибокі нейронні мережі. Його інновація: пошаровий попереднє навчання (Layer-by-Layer Pre-Training) за допомогою Restricted Boltzmann Machines (RBMs). Ця 'жадібна' стратегія навчання розв'язала проблему ініціалізації ваг і зробила глибинне навчання практично застосовним. Метод стекує RBM одна на одну й навчає кожен шар окремо, перш ніж налаштовувати всю мережу. Робота Гінтона завершила багаторічне перебування нейронних мереж у тіні й поклала початок їхньому ренесансу. Вже у 2009 році DBN суттєво знизили рівень помилок у розпізнаванні мовлення. У 2012 році команда Гінтона виграла ImageNet Challenge (ILSVRC) з AlexNet — глибокою згортковою нейронною мережею, що використовувала GPU-навчання, ReLU і Dropout і більше не потребувала RBM-попереднього навчання DBN. AlexNet досягла показника top-5 помилок 15,3% порівняно з 26,2% у другої команди — помітне покращення. Цей момент означав відродження нейронних мереж і початок нинішнього буму ШІ.
Netflix Prize: алгоритм за мільйон доларів
Демократизація машинного навчання через конкурс на основі краудсорсингу безпрецедентного масштабу — з публічним набором даних та призовим фондом у мільйон доларів. 2 жовтня 2006 року Netflix запустив цей конкурс за мільйон доларів: хто зможе покращити алгоритм рекомендацій Cinematch на 10 %? Маючи понад 100 мільйонів оцінок від 480 000 користувачів для 17 770 фільмів, Netflix надав один з найбільших публічних наборів даних для машинного навчання. Зареєструвалося понад 40 000 команд з 186 країн, більше 5 000 з них потрапили до кваліфікаційної таблиці лідерів і разом подали близько 44 000 дійсних рішень. Коли команда 'BellKors Pragmatic Chaos' 26 червня 2009 року першою подолала позначку в 10 %, це запустило 30-денний останній виклик, який завершився 26 липня 2009 року; офіційно переможця з покращенням на 10,06 % оголосили лише на церемонії нагородження 21 вересня 2009 року. Рецепт успіху: ансамблева комбінація з матричної факторизації та машин Больцмана з обмеженнями. Конкурс суттєво змінив колаборативну фільтрацію та продемонстрував силу краудсорсингу для складних задач машинного навчання. Хоча Netflix так і не запровадив алгоритми переможців у виробництво (занадто високі витрати на впровадження), конкурс надовго надихнув сучасну індустрію рекомендаційних систем.
Заснування Common Crawl Foundation
Демократизація Інтернету як навчальних даних для штучного інтелекту. У 2007 році Гіл Елбаз заснував Common Crawl Foundation із місією: архівувати весь публічний Інтернет і робити його вільно доступним. Починаючи з 2008 року розпочалася систематична діяльність з індексування, і відтоді корпус щомісяця зростає на мільярди сторінок. Нині (станом на 2024 рік) він налічує понад 100 мільярдів вебсторінок і кілька петабайт даних. Ця колекція стала найважливішим джерелом навчальних даних для великих мовних моделей і уможливила розробку GPT-3, ChatGPT, LLaMA та інших сучасних ШІ-систем. Common Crawl відрізнялася від комерційних підходів своїм некомерційним характером і вільною доступністю. Необроблена колекція даних потребує подальшої обробки, проте вона демократизувала доступ до масштабних мовних даних і зробила ШІ-дослідження менш залежними від приватних наборів даних.
CUDA: відеокарта стає двигуном ШІ
Революція ШІ 2012 року відбулася не лише завдяки алгоритмам — вона відбулася завдяки відеокартам. Ґрунт для цього підготував NVIDIA у 2007 році з CUDA: платформою, яка дозволила запускати звичайні програми на C-подібній мові безпосередньо на графічному процесорі — не лише для графіки. Анонсована з чипом G80 наприкінці 2006 року, представлена як публічна бета у лютому 2007 року і як версія 1.0 у червні 2007 року, CUDA вперше зробила величезний паралелізм графічних процесорів широко доступним. Це ідеально відповідає нейронним мережам, обчислення яких по суті складаються з матричних множень — тисячі малих операцій одночасно. П'ять років потому Кріжевський, Сутскевер і Гінтон навчили AlexNet на двох картах NVIDIA GTX 580 за допомогою CUDA — прорив, який запалив глибинне навчання. З 2014 року cuDNN від NVIDIA надає оптимізовані компоненти, на яких сьогодні працюють TensorFlow, PyTorch та інші. Чесна оцінка: CUDA не винайшла GPGPU (програмовані шейдери існували з 2001 року, BrookGPU — з 2004-го) і не спричинила глибинне навчання поодинці — але вона зробила потрібну обчислювальну потужність доступною, без якої решта не стала б можливою.
Zero-Shot Learning: навчання без даних
Формалізація навчання на невидимих класах за допомогою семантичних описів. У липні 2008 року Юго Ларошель, Думітру Ерхан та Йошуа Бенджіо на конференції AAAI опублікували роботу 'Zero-data Learning of New Tasks', надавши теоретичне попереднє обгрунтування. Саму назву 'Zero-Shot Learning' запровадили 2009 року дві інші групи: Палатуччі та колеги у статті 'Zero-Shot Learning with Semantic Output Codes' на NIPS 2009, а також Ламперт та колеги зі своїм атрибутним підходом на CVPR 2009. Фундаментальна проблема: як модель може класифікувати класи, для яких немає навчальних даних, а є лише описи? Вирішення полягало в семантичних ембедингах і трансферному навчанні — повторному використанні навчених моделей для нових завдань. Формалізація Ларошеля стосувалася дуже великих наборів класів, які не повністю охоплені навчальними даними. Експериментальний аналіз довів значну здатність до узагальнення в цьому контексті. Ця робота заклала концептуальну основу для сучасних можливостей few-shot і zero-shot у GPT-3, GPT-4 та інших великих мовних моделях. Zero-Shot Learning став ключовою технологією для масштабованих систем ШІ.
Створення датасетів CIFAR
Створення фундаментального бенчмарка для компʼютерного зору. У 2009 році Алекс Кріжевський, Вінод Наїр та Джеффрі Гінтон в Університеті Торонто розробили датасети CIFAR-10 та CIFAR-100. Вони виникли як марковані підмножини датасету «Tiny Images» з 80 мільйонів зображень. CIFAR-10 включає 60 000 кольорових зображень 32×32 пікселі в десяти категоріях, таких як літаки, автомобілі та тварини, тоді як CIFAR-100 розподіляє таку ж кількість зображень на сто детальніших класів. Датасети стали одним із найважливіших бенчмарків дослідження компʼютерного зору та забезпечили стандартизовані порівняння між різними алгоритмами. Примітним є звʼязок з AlexNet: Кріжевський використовував CIFAR-10 ще до 2011 року для тренування малих CNN на окремих GPU — попередник його пізнішого успіху з ImageNet у 2012 році.
ImageNet: набір даних, що змінив усе
Створення набору даних, що уможливив розвиток глибинного навчання. У 2009 році Фей-Фей Лі зі своєю командою представила статтю ImageNet і продемонструвала візуальну базу даних, що мала трансформувати комп'ютерний зір — на момент запуску вона налічувала близько 3,2 мільйона вручну анотованих зображень у приблизно 5 200 категоріях. У повному обсязі ImageNet пізніше охопив понад 14 мільйонів вручну анотованих зображень і близько 22 000 категорій на основі ієрархій WordNet, усуваючи критичне вузьке місце — брак великих, якісних навчальних даних. Анотування здійснювалося в ході проекту приблизно 49 000 виконавцями зі 167 країн через Amazon Mechanical Turk — проект безпрецедентної колаборації. Те, що починалося як постер у куті конференц-залу в Маямі-Біч, переросло в щорічний конкурс ImageNet Challenge (ILSVRC) і стало одним із трьох рушіїв сучасного розвитку ШІ. ImageNet уможливив прорив AlexNet у 2012 році та заклав фундамент для автономних транспортних засобів, розпізнавання облич і медичної візуалізації.
Заснування DeepMind
Народження ШІ-лабораторії, яка створюватиме заголовки. У вересні 2010 року Деміс Хассабіс, Шейн Легг та Мустафа Сулейман заснували в Лондоні DeepMind Technologies. Їхня мета: розробити загальний штучний інтелект, поєднуючи знання з нейронауки та машинного навчання. Хассабіс, колишній шаховий вундеркінд та розробник ігор, приніс унікальне бачення: ШІ повинен навчатися як людський мозок. У 2014 році Google придбала стартап за приблизно 500 мільйонів доларів — одне з найбільших придбань у сфері ШІ в історії. DeepMind згодом здивує світ AlphaGo, AlphaFold та іншими проривами.
ImageNet Challenge: початок змагання
Встановлення найважливішого тесту з комп'ютерного зору в історії ШІ. У 2010 році стартував перший ImageNet Large Scale Visual Recognition Challenge (ILSVRC) та створив стандартизований конкурс, що мав визначати напрямок досліджень комп'ютерного зору протягом наступного десятиліття. З 1 000 категоріями об'єктів і 1,2 мільйона навчальних зображень конкурс значно перевершив тогочасні доступні тести на зразок PASCAL VOC, що мав лише 20 класів. Оцінювання здійснювалося за показниками похибки Top-1 і Top-5 — метриками, що є стандартом донині. З 2010 по 2017 рік точність Top-5 переможців значно покращилася: з 71,8% до 97,3%, зрештою перевершивши людську продуктивність. Щорічний конкурс залучив понад 50 установ з усього світу та каталізував досягнення, які у 2012 році увінчалися значним проривом AlexNet — показником похибки Top-5 лише 15,3% (близько 84,7% точності).
Watson перемагає чемпіонів Jeopardy
Тріумф IBM у обробці природної мови та доказ машинного розуміння мови. 16 лютого 2011 року система IBM Watson у телевізійному шоу Jeopardy перемогла двох найуспішніших чемпіонів усіх часів: Кена Дженнінгса (74 перемоги поспіль) та Бреда Раттера (3,25 мільйона доларів виграшів до 2005 року). Watson, розроблений командою DeepQA Девіда Феруччі, складався з 90 серверів IBM Power 750 (у 10 стійках) з 16 терабайтами оперативної пам'яті та 2 880 процесорними ядрами POWER7. Інновація полягала в обробці природної мови: Watson розумів запитання природною мовою та відповідав точніше, ніж будь-яка стандартна пошукова технологія — без підключення до Інтернету. Виграши Watson склали 77 147 доларів (пожертвуваних на благодійність), що більш ніж на 50 000 доларів перевищило результати суперників-людей. Відомий фінальний коментар Кена Дженнінгса 'I for one welcome our new computer overlords' підкреслив історичне значення цього досягнення в обробці природної мови.
Запуск Siri: голосовий асистент стає масовим явищем
4 жовтня 2011 року Apple суттєво змінила взаємодію людини з комп'ютером, представивши Siri на iPhone 4S. Як перший масовий голосовий асистент, глибоко інтегрований у смартфон, Siri принесла ШІ в кишені мільйонів людей. 'Яка сьогодні погода?' або 'Знайди мені гарний грецький ресторан' — раптово користувачі могли природно розмовляти зі своїм телефоном. При цьому Siri не була цілком новою розробкою: з 2010 року вона існувала як самостійний застосунок iOS компанії Siri Inc. (придбаної Apple), а Google вже пропонував голосовий пошук Voice Actions. Але саме бездоганна інтеграція Apple в операційну систему перетворила голосового асистента на масове явище. Siri спиралася на десятиліття досліджень у SRI International та проекті DARPA CALO. Сьюзан Беннетт ще у 2005 році несвідомо записала оригінальний голос. Стів Джобс, тяжко хворий в останні дні свого життя, вже не з'явився на презентаційному заході — iPhone 4S представив Тім Кук. Через день після анонсу Siri Джобс пішов з життя. Siri не була досконалою — критики вказували на жорсткі команди й недостатню гнучкість. Але мета була досягнута: ШІ став масовим явищем. Siri надихнула Amazon Alexa, Google Assistant і Microsoft Cortana. Почалася ера голосових асистентів.
Dropout-регуляризація
У липні 2012 року Джеффрі Гінтон, Нітіш Срівастава, Алекс Крижевський, Ілля Суцкевер і Руслан Салахутдінов суттєво змінили навчання нейронних мереж, винайшовши Dropout-регуляризацію. Ця елегантна техніка запобігає перенавчанню (overfitting) шляхом випадкового вимкнення приблизно половини всіх нейронів під час навчання, що дозволяє уникнути складних ко-адаптацій. Замість специфічних комбінацій ознак кожен нейрон навчається стійким, загально корисним патернам розпізнавання. Метод, опублікований на arXiv 3 липня 2012 року, став кілька місяців потому одним із будівельних блоків тріумфу AlexNet на ImageNet у рамках ILSVRC 2012, результати якого були представлені у жовтні 2012 року, — поряд із GPU-навчанням, ReLU-активацією та глибиною мережі, — і перетворився на стандарт у більшості сучасних архітектур глибинного навчання. Dropout встановлює нові рекорди у розпізнаванні мовлення та об'єктів і розв'язує ключову проблему перенавчання у глибоких мережах.
Успіх AlexNet
Переломний момент для глибинного навчання та сучасного ШІ. 30 вересня 2012 року були опубліковані результати ImageNet Challenge, у якому AlexNet здобув перемогу з таким відривом, що комп'ютерний зір зазнав значних змін. Алекс Крижевський, Ілля Суцкевер та Джеффрі Гінтон з Університету Торонто розробили CNN-архітектуру, яка перевершила конкурентів на вагомі 10,9 відсоткового пункту — результат, який у науковому світі вважається помітним. Маючи 60 мільйонів параметрів та інноваційні техніки, такі як активації ReLU та шари Dropout, AlexNet переконливо продемонстрував практичну перевагу глибинного навчання. Це був момент, коли цікава теорія перетворилась на домінуючу технологію. Ян ЛеКун назвав це 'безсумнівним переломним моментом в історії комп'ютерного зору'. Реалізація на основі GPU проклала шлях для сучасного розвитку ШІ.
Революція глибинного навчання
Рік, який відкрив еру сучасного ШІ завдяки поєднанню наборів даних, потужності GPU та нейронних архітектур. 2012 рік ознаменував піднесення глибинного навчання (Deep Learning) як домінуючої технології ШІ, каталізатором чого став вражаючий успіх AlexNet на ImageNet. Це стало можливим завдяки злиттю трьох тенденцій: набір даних ImageNet Фей-Фей Лі надав масиви розмічених навчальних даних, GPU-обчислення досягли необхідної обчислювальної потужності для глибоких мереж, а вдосконалені методи навчання — такі як ReLU-активації та Dropout-регуляризація — подолали давні обмеження. Команда Джеффрі Гінтона — Алекс Крижевський, Ілля Суцкевер і сам Гінтон — довела в батьківському будинку Крижевського на двох картках Nvidia, що глибокі нейронні мережі є практично застосовними. AlexNet виявився поворотним моментом для комп'ютерного зору. Цей успіх значно підвищив інтерес до глибинного навчання і проклав шлях до VGG, ResNet і зрештою до сучасних генеративних систем ШІ.
Word2Vec: слова як вектори
Перетворення представлення слів через семантичні векторні простори. 16 січня 2013 року Томаш Міколов разом із командою Google опублікував основоположну статтю 'Efficient Estimation of Word Representations in Vector Space'. Word2Vec перетворив обробку природної мови (NLP), представляючи слова як щільні низьковимірні вектори (зазвичай від 100 до 300 вимірів), що фіксують семантичні та синтаксичні зв'язки — це був розрив з величезними, розрідженими one-hot-векторами попередніх підходів. Два архітектурні варіанти — CBOW (Continuous Bag of Words) та Skip-Gram — навчалися на великих текстових корпусах, що слова зі схожим значенням зустрічаються в схожих контекстах. Відомий приклад демонстрував векторну арифметику: Король - Чоловік + Жінка = Королева. З більш ніж 49 000 цитуваннями робота Міколова стала однією з найвпливовіших статей у галузі обробки природної мови. Word2Vec заклав основу для всіх сучасних технік ембедингу та уможливив семантичні міркування у векторних просторах. Ця інновація проклала шлях для трансформерних архітектур і сучасних великих мовних моделей.
VAE: варіаційні автокодувальники
Розвиток імовірнісних генеративних моделей через моделювання прихованого простору. 20 грудня 2013 року Diederik Kingma та Max Welling опублікували статтю 'Auto-Encoding Variational Bayes'. VAE поєднують мережі кодувальника та декодувальника через імовірнісний прихований простір — як правило, багатовимірний розподіл Гаусса. На відміну від детерміністичних автокодувальників, кодувальник кодує дані як розподіли, а не окремі точки, що уможливлює неперервну інтерполяцію та генерацію даних. Трюк репараметризації (Reparameterization Trick) робить випадковість диференційованою як вхід моделі та уможливлює стандартну оптимізацію за градієнтом. У своїх експериментах VAE генерували рукописні цифри (MNIST) та невеликі зображення облич (Frey Faces) — ще розмиті, але як доказ здійсненності варіаційного висновку (variational inference) вони були визначальними. Ця праця заклала фундамент для сучасного генеративного ШІ та вплинула на подальші імовірнісні підходи аж до дифузійних моделей.
Adam: стандартний оптимізатор глибинного навчання
Щоб нейронна мережа навчалася, оптимізатор має крок за кроком налаштовувати мільйони її параметрів у правильному напрямку. У 2014 році Дідерік Кінгма та Джиммі Ба запропонували метод, який швидко став найпопулярнішим у галузі: Adam — назва походить від англійського виразу Adaptive Moment Estimation (і не є абревіатурою). Хитрість Adam полягає в тому, що він веде окрему, автоматично скориговану швидкість навчання для кожного параметра. Для цього він поєднує дві перевірені ідеї: імпульс (Momentum), який враховує попередній напрямок, та адаптивний розмір кроку на кшталт RMSProp. Результат: мережі навчаються стабільно і без виснажливого підбору швидкості навчання. Стаття стала однією з найцитованіших у дослідженнях ШІ. Для чесної оцінки: Adam не є панацеєю. У деяких випадках простіший SGD краще узагальнює нові дані. Крім того, Adam спирається на попередників — AdaGrad і RMSProp, — а пізніші варіанти, як-от AdamW (2017), виправляли слабкості оригіналу.
MS COCO: золотий стандарт комп'ютерного зору
У 2014 році дослідницька команда Microsoft Research, Корнелльського університету та UC Berkeley суттєво змінила дослідження комп'ютерного зору завдяки набору даних COCO (Common Objects in Context). На відміну від ImageNet з ізольованими об'єктами, COCO показував предмети в їхньому природному контексті — так, як вони зустрічаються в реальному світі. 2,5 мільйона анотацій у 328 000 зображеннях, розподілених на 91 категорію оригінальної статті, з яких 80 формують еталон виявлення, що використовується донині, — всі це повсякденні предмети, які може впізнати 4-річна дитина. Інновація полягала в деталях: попіксельні маски сегментації замість простих обмежувальних рамок. COCO вперше уможливив точну локалізацію об'єктів та розуміння складних сцен. Набір даних став золотим стандартом для виявлення об'єктів, сегментації екземплярів та підписів до зображень. Від YOLO до Mask R-CNN — усі великі моделі комп'ютерного зору вимірюються за COCO. Стандартизовані метрики, як-от mean Average Precision (mAP), зробили порівняння моделей об'єктивно можливим. Понад десятиліття потому COCO залишається найважливішим еталоном спільноти комп'ютерного зору. Без COCO не було б сучасних систем розпізнавання об'єктів в автономних транспортних засобах, відеоспостереженні або доповненій реальності.
GAN — генеративно-змагальні мережі
Ян Гудфеллоу винаходить 2014 року Generative Adversarial Networks (GAN) протягом однієї ночі в Монреалі після відвідин пабу. Його основоположний фреймворк змушує дві нейронні мережі змагатися одна з одною у грі мінімакс: генератор створює синтетичні дані, дискримінатор намагається відрізнити справжні дані від підроблених. Це змагальне навчання докорінно змінює генеративний ШІ. Вихідна GAN 2014 року генерувала лише невеликі розмиті зображення (зокрема цифр та облич), проте проклала шлях до пізнішої фотореалістичної генерації зображень. Стаття, опублікована на arXiv у 2014 році, стає однією з найвпливовіших у галузі ШІ і перетворює Гудфеллоу на знаменитість у світі ШІ. За нею слідують сотні варіацій GAN.
Механізм уваги: ключ до сучасних великих мовних моделей
Вересень 2014 року: Дзмітрі Бахданау, Кюнхюн Чо та Йошуа Бенджіо опублікували статтю, яка мала докорінно змінити світ обробки природної мови (NLP). 'Neural Machine Translation by Jointly Learning to Align and Translate' вирішила фундаментальну проблему моделей типу sequence-to-sequence. Попередні архітектури кодувальник-декодувальник стискали кожне вхідне речення в єдиний вектор фіксованої довжини — вузьке місце у разі довгих речень. Attention Бахданау (Bahdanau Attention) стала значним кроком вперед: замість фіксованого вектора модель використовувала динамічну увагу до різних частин вхідного речення. Подібно до того, як людське око стрибає між словами під час читання, увага ШІ переміщується між релевантними словами. Ця 'адитивна увага' (Additive Attention) стала концептуальним провісником сучасних NLP-систем. Пізніший Transformer (2017) побудований на ідеї уваги, але замінив адитивний варіант ефективнішою Scaled-Dot-Product Attention. Без концепції уваги Бахданау не було б Transformer, без Transformer — не було б сімейства GPT або BERT. Цей прорив стався за три роки до 'Attention Is All You Need'.
Запуск Amazon Alexa та Echo
Amazon суттєво змінює взаємодію між людиною та технологіями, представивши Alexa та смарт-колонку Echo 6 листопада 2014 року. Спочатку Echo запускається лише за запрошеннями та виключно для учасників Prime; лише з початком публічного продажу у 2015 році голосовий ШІ стає доступним для широкого кола споживачів та перетворює будинок на середовище, кероване голосом. Спираючись на польську технологію синтезу мовлення Ivona, придбану 24 січня 2013 року, Amazon створює принципово новий досвід користувача. Echo починає як пристрій для керування музикою, але швидко розвивається у універсальний центр розумного будинку. Ця інновація засновує масову категорію та знаменує початок масштабного розвитку ринку розумних колонок, надихаючи численних конкурентів.
Deep Q-Networks: ШІ навчається Atari з пікселів
Задовго до того, як AlphaGo потрапив у заголовки новин, DeepMind у 2015 році навчив ШІ грати у відеоігри Atari лише на основі сирих пікселів — і тим самим заклав фундамент глибинного навчання з підкріпленням. У лютому 2015 року команда Володимира Мніха опублікувала у Nature роботу 'Human-level control through deep reinforcement learning' (попередник з'явився у 2013 році). Нейронна мережа, яка бачила лише екран і рахунок, навчилася грати у 49 різних ігор Atari — з тією самою архітектурою, без налаштування для кожної гри. Технічно DeepMind поєднав згорткову мережу з Q-навчанням, буфером досвіду (Experience Replay, запровадженим Ліном на початку 1990-х) і стабілізуючою цільовою мережею. При оцінці варто бути точним: система досягла людського рівня приблизно в половині ігор і перевершила всі попередні методи у 43 із 49 — але у іграх з рідкісними винагородами, як-от Montezuma's Revenge, зазнала майже повного краху. Попри це, це було доказом того, що глибокі мережі і навчання з підкріпленням поєднуються у великому масштабі — міст від Q-навчання 1990-х до AlphaGo і AlphaZero.
Пакетна нормалізація: важливий крок вперед у навчанні нейронних мереж
11 лютого 2015 року Сергій Йоффе та Крістіан Сцегеді з Google опублікували статтю, яка суттєво змінила навчання глибоких нейронних мереж. Їхній діагноз: 'Internal Covariate Shift' — розподіл входів кожного шару зміщується під час навчання, що робить навчання нестабільним. Їхнє елегантне рішення: пакетна нормалізація (Batch Normalization) нормалізує активації кожного шару для кожного міні-пакету. Ефект був помітним: приблизно в 14 разів менше кроків навчання для досягнення тієї ж точності. Стали можливими вищі швидкості навчання, Dropout часто виявився зайвим, ініціалізація — менш критичною. Метод одночасно виступав регуляризатором і прискорювачем. Їхній ансамбль ImageNet досяг 4,8% Top-5 Error, перевершивши оцінювачів-людей (прибл. 5,1%). Цікаво: пізніші дослідження (Santurkar та ін., 2018) показали, що справжній механізм дії пов'язаний менше з приборканим Covariate Shift, а більше зі згладженим ландшафтом втрат — тобто початкове пояснення сьогодні вважається відносним. Маючи вже понад 60 000 цитувань, стаття надихнула незліченні методи нормалізації: GroupNorm, LayerNorm, InstanceNorm. Сьогодні пакетна нормалізація є стандартом у багатьох сучасних архітектурах від ResNet до сучасних CNN — Transformer натомість зазвичай використовують частково натхнену нею Layer Normalization.
YOLO: You Only Look Once
Трансформація виявлення обʼєктів у реальному часі через уніфіковану однопрохідну архітектуру. 8 червня 2015 року Джозеф Редмон, Сантош Дівала, Росс Гіршик та Алі Фархаді представили революційну статтю 'You Only Look Once: Unified, Real-Time Object Detection'. YOLO прорвав традиційну двоетапну парадигму виявлення обʼєктів та сформулював детекцію як задачу регресії для просторово розділених обмежувальних рамок. Одна нейронна мережа передбачає обмежувальні рамки та ймовірності класів безпосередньо з повних зображень за одну оцінку. З базовою продуктивністю 45 fps та Fast YOLO з вражаючими 155 fps система була в сотні-тисячі разів швидшою за існуючі детектори. Архітектура на основі сітки розбивала зображення на клітинки, де кожна клітинка передбачала обʼєкти у своєму центрі. YOLO вивчив узагальнюючі представлення обʼєктів та значно перевершив інші методи при переносі доменів.
Розробка DeepMind AlphaGo
У жовтні 2015 року DeepMind досягає історичного прориву: AlphaGo стає першою системою ШІ, яка перемагає професійного гравця у го на повній дошці без гандикапу. AlphaGo перемагає європейського чемпіона з го Фань Хуея з рахунком 5:0 і здобуває таким чином найскладнішу класичну настільну гру у світі — на десятиліття раніше, ніж прогнозували експерти. Матч спочатку залишається таємницею; про успіх публічно оголошують лише 27 січня 2016 року разом із публікацією у фаховому журналі Nature. Го астрономічно складніше за шахи — приблизно в гугол (10^100) разів більше допустимих позицій, а кількість можливих конфігурацій на дошці перевищує кількість атомів у відомому Всесвіті. Цей помітний успіх демонструє потужність нейронних мереж і пошуку за методом Монте-Карло.
Tesla Autopilot: системи допомоги водіям для масового ринку
14 жовтня 2015 року Tesla випустила програмне забезпечення версії 7.0 та вперше активувала Autopilot для автомобілів Model S. Апаратне забезпечення було встановлено в автомобілях ще з вересня 2014 року — за рік до активації програмного забезпечення. Система використовувала технологію Mobileye з фронтальною камерою, радаром і 12 ультразвуковими датчиками. Водії тепер могли користуватися адаптивним круїз-контролем, помічником утримання смуги та автоматичним паркуванням — функціями, що раніше були доступні лише в автомобілях преміум-класу. Tesla охарактеризувала це як автономність рівня 2: система допомагає водієві, але не замінює його. Musk наголосив при запуску: 'Ми радимо водіям тримати руки на кермі.' Вже в перший рік автопарк Tesla зібрав сотні мільйонів кілометрів з активним Autopilot — до кінця 2016 року Tesla повідомила приблизно про 222 мільйони пройдених миль. Концепція — попередньо встановлювати апаратне забезпечення, а функції розблоковувати через оновлення програмного забезпечення — продемонструвала автомобільній промисловості новий шлях. Від Mercedes до суто технологічних провайдерів, як-от Mobileye, численні гравці просували власні системи допомоги при водінні.
TensorFlow: ML-фреймворк Google стає відкритим
Демократизація машинного навчання через потужний внутрішній інструмент Google. 9 листопада 2015 року Google відкрила вихідний код TensorFlow під ліцензією Apache 2.0 та зробила свою другу ML-систему доступною для всіх. TensorFlow замінила внутрішню систему DistBelief та запропонувала подвійну швидкість з покращеною масштабованістю та готовністю до продакшну. Як універсальний процесор обчислювальних графів потоків TensorFlow дозволяла не лише глибоке навчання, а й будь-які диференційовні обчислення. Гнучкий Python-інтерфейс, автодиференціювання та першокласні оптимізатори революціонізували ML-розробку. Стратегія Google: Розробка на основі спільноти прискорює прогрес ШІ для всіх. Розроблена понад 30 авторами з команди Google Brain, TensorFlow стала однією з провідних ML-платформ та дозволила мільйонам розробників створювати просунуті ШІ-застосунки.
ResNet: залишкові мережі змінюють глибинне навчання
Розв'язання проблеми деградації дуже глибоких мереж і народження ультраглибоких нейронних мереж. 10 грудня 2015 року команда Каймін Хе з Microsoft Research опублікувала статтю 'Deep Residual Learning for Image Recognition', що суттєво змінила глибинне навчання. До того часу точність навчання погіршувалася при збільшенні глибини мереж — не стільки через зникаючі градієнти, скільки тому, що глибокі мережі просто важче оптимізувати. ResNet запровадив залишкові з'єднання — пропускні зв'язки, що передають входи безпосередньо до наступних шарів і уможливлюють навчання ультраглибоких мереж. З 152 шарами ResNet був утричі глибший за VGG, але менш складний. Вражаючий результат: 3,57 % частота помилок Top-5 ансамблю моделей на ImageNet — тріумф, що домінував у всіх категоріях. ResNet переміг у класифікації, детекції, локалізації ImageNet, а також у детекції та сегментації COCO 2015. Фреймворк залишкового навчання переформулював шари як навчання залишкових функцій замість неспіввіднесених функцій. Це нововведення уможливило навчання мереж зі сотнями шарів.
Заснування OpenAI
Організація, яка хотіла зробити ШІ доступним для всіх — і змінила світ. 11 грудня 2015 року Сем Альтман, Ілон Маск та інші відомі технологічні особистості оголосили про заснування OpenAI. Маючи обіцяний мільярд доларів — фінансове зобов'язання інвесторів, розраховане на кілька років, з якого спочатку надійшла лише невелика частина, — та мету розробки безпечного загального ШІ на благо всього людства, OpenAI вийшла на сцену як некомерційна дослідницька організація. Те, що розпочалося як ідеалістичне підприємство, перетворилося на найвпливовішу лабораторію ШІ у світі. У 2019 році було засновано прибуткову дочірню компанію. З GPT-3 та ChatGPT OpenAI заново визначила, на що здатний ШІ.
AlphaGo перемагає Лі Седоля
Історичний момент, коли ШІ вперше переміг чемпіона світу в найскладнішій настільній грі. З 9 по 15 березня 2016 року в Сеулі відбувся DeepMind Challenge Match — пʼять партій між Лі Седолем, одним із найкращих гравців у Го у світі, та AlphaGo. Результат вразив світ: 4:1 на користь машини. Особливо знаменитий «Хід 37» у другій партії продемонстрував машинну креативність — хід з імовірністю 1:10 000, який перевернув багатовікову мудрість Го. AlphaGo поєднав глибоке навчання з пошуком по дереву Монте-Карло і тренувався як на людських партіях, так і шляхом самогри. Проте відповідь Лі Седоля в четвертій партії його «божественним ходом 78» показала, що людська інтуїція все ще може дивувати. Понад 200 мільйонів людей по всьому світу спостерігали за цими партіями.
XGBoost: Extreme Gradient Boosting домінує в ML
Вдосконалення Gradient Boosting та завоювання проблем зі структурованими даними. 9 березня 2016 року Тяньці Чень та Карлос Гестрін опублікували на arXiv статтю XGBoost: A Scalable Tree Boosting System, представлену в серпні 2016 на конференції KDD. Розроблений з PhD-проєкту Ченя в Університеті Вашингтона, XGBoost значно покращив традиційний Gradient Boosting через екстремальні оптимізації: L1- та L2-регуляризація запобігала перенавчанню, градієнти другого порядку надавали точнішу інформацію про напрямок, а паралелізація значно прискорила побудову дерев. XGBoost домінував у змаганнях з машинного навчання 2010-х і став стандартним вибором для команд-переможців на Kaggle. На Higgs Boson ML Challenge Тяньці Чень отримав спеціальний приз, і XGBoost використовувався багатьма топ-учасниками, що закріпило його домінування на структурованих даних. Масштабована система наскрізного деревʼяного бустингу підтримує C++, Java, Python, R та інші мови. XGBoost довів постійну актуальність традиційних ML-методів паралельно з революцією глибокого навчання.
Google Assistant: стратегія ШІ передусім стає реальністю
18 травня 2016 року Сундар Пічаї представив Google Assistant на Google I/O — відповідь Google на Siri та Alexa. Після років відставання у сфері голосових помічників Google повною мірою надолужив прогаяне. Assistant був більшим, ніж оновлення Google Now — він став фундаментом стратегії 'AI-First' Пічаї. 'Ми хочемо, щоб користувачі вели безперервний діалог з Google', — пояснював Пічаї. 'Ми будуємо для кожного користувача свій власний індивідуальний Google.' Assistant мав стати 'ambient experience' — досвідом, що охоплює всі пристрої: від смартфонів через Google Home до автомобілів. На відміну від конкурентів, що базувалися на командах, Google зробив ставку на природну розмову та розуміння контексту. Спочатку Assistant лише анонсували; своїм першим домом він став кілька місяців по тому — месенджер Allo, а наприкінці 2016 року — колонка Google Home. Запуск ознаменував серйозний вихід Google на ринок голосового ШІ та заклав основу для сучасного домінування компанії у сфері ШІ.
Partnership on AI: технологічні гіганти об'єднуються
Важливий альянс провідних технологічних компаній задля відповідальної розробки ШІ. 28 вересня 2016 року Amazon, Facebook, Google, DeepMind, IBM і Microsoft заснували 'Partnership on Artificial Intelligence to Benefit People and Society' — незвичайну коаліцію колишніх конкурентів. З Еріком Горвіцем (Microsoft Research) і Мустафою Сулейманом (DeepMind) як тимчасовими співголовами Партнерство спочатку мало правління, що складалося виключно з представників корпорацій, і оголосило про намір перетворити його на паритетний орган з однаковою кількістю представників некорпоративного сектору. Місія охоплює дослідження та найкращі практики у сфері етики, справедливості, прозорості, захисту даних і взаємодії людини з ШІ. Примітно: Apple спочатку була відсутня, але приєдналася у 2017 році. Партнерство свідомо відмовляється від лобістської діяльності і зосереджується на дослідницькій співпраці. Ця ініціатива ознаменувала початок структурованого галузевого саморегулювання у розробці ШІ.
Розпізнавання мовлення досягає рівня людини
18 жовтня 2016 року компанія Microsoft досягла історичного успіху: вперше в галузі їхня система розпізнавання мовлення досягла продуктивності рівня людини на еталоні Switchboard для розмовного мовлення. Після 25 років досліджень мета була досягнута — 5,9% коефіцієнт помилок слів, настільки ж добре, як і професійні транскрибери на цьому завданні. (У 2017 році Microsoft скоригувала людський порівняльний показник до 5,1% і змушена була знову його досягати.) Xuedong Huang, головний спеціаліст Microsoft з розпізнавання мовлення, оголосив: 'Ми досягли паритету з людиною. Це історичне досягнення.' Система використовувала найновіші технології глибинного навчання: згорткові нейронні мережі, архітектури LSTM та нейронні мовні моделі з неперервними векторами слів. Сила полягала у систематичному поєднанні перевірених елементів — ансамблі акустичних моделей CNN та BLSTM, адаптація диктора за допомогою i-vector та повторне оцінювання за допомогою мовної моделі. Це стало можливим завдяки конвергенції трьох напрямків розвитку: великих наборів даних (Switchboard Corpus), GPU-обчислень та вдосконалених методів навчання. Це досягнення проклало шлях для сучасних голосових помічників — однак воно підтверджує паритет лише на вузько визначеному завданні транскрипції, а не загальні людські когнітивні здібності.
Принципи Асіломару: фахова спільнота встановлює орієнтири
На початку 2017 року, задовго до ChatGPT, провідні дослідники ШІ зібралися в Асіломарі на каліфорнійському узбережжі — там само, де біологи у 1975 році обговорювали ризики генної інженерії. Ініціатором конференції з питань корисного ШІ стало Future of Life Institute. Її підсумком стали 23 принципи ШІ Асіломару — настанови щодо досліджень, цінностей (безпека, прозорість) і довгострокових ризиків. Їх підтримали понад тисяча фахівців із ШІ і відомі підписанти, зокрема Стівен Гокінг і Ілон Маск. Це була одна з перших масштабних спроб фахової спільноти встановити для себе орієнтири — за роки до того, як урядові органи звернули увагу на цю проблему. Для чесної оцінки: принципи були добровільними і необов'язковими. Вони формували дискусію, але не мали юридичної сили.
MobileNet — ШІ для смартфонів
У квітні 2017 року Google Research суттєво змінює мобільний ШІ за допомогою MobileNet — однієї з перших моделей глибинного навчання, спеціально розробленої для смартфонів, IoT та вбудованих систем (попередники, як-от SqueezeNet, уже існували). Завдяки інноваційній архітектурі Depthwise Separable Convolution MobileNet скорочує обчислювальні витрати при збереженні тієї самої ефективності приблизно до однієї восьмої порівняно зі звичайними згортками. Ця помітна ефективність — близько дев'яти разів менше обчислювальних операцій при ядрах 3x3 — прокладає шлях для обробки зображень у реальному часі на мобільних пристроях. MobileNet демократизує комп'ютерний зір для мільярдів смартфонів і утверджує Edge Computing як нову парадигму ШІ поза хмарними рішеннями.
Публікація дослідницької статті RLHF
Технологія, яка зробила можливим ChatGPT — за роки до прориву. У червні 2017 року дослідники з OpenAI та DeepMind опублікували статтю 'Deep Reinforcement Learning from Human Preferences'. Ідея: Замість тренування ШІ-систем з ідеально визначеними функціями винагороди, вони навчаються безпосередньо з людського зворотного звʼязку. Люди оцінюють різні виходи ШІ, і система навчається, яка поведінка є переважною. Цей метод, пізніше відомий як RLHF (Reinforcement Learning from Human Feedback), став ключовою технологією за ChatGPT та іншими сучасними мовними моделями. RLHF дозволив зробити ШІ-системи кориснішими, чеснішими та безпечнішими.
Transformer: 'Attention Is All You Need'
12 червня 2017 року вісім дослідників — переважно з Google, серед яких був стажер з University of Toronto — опублікували на arXiv статтю 'Attention Is All You Need' — основу сучасних великих мовних моделей. Ashish Vaswani, Noam Shazeer та їхні колеги запропонували нову архітектуру: Transformer. На відміну від попередніх моделей послідовностей, Transformer відмовляється від рекурентних та згорткових шарів. Натомість він використовує виключно механізми уваги (Attention). Self-Attention охоплює зв'язки між усіма позиціями послідовності паралельно — послідовна обробка більше не потрібна. Multi-Head Attention використовує кілька паралельних голів уваги, які вивчають різні аспекти відносин між словами. На WMT 2014 модель досягла 28,4 BLEU для пари англійська-німецька та 41,8 BLEU для пари англійська-французька — нові рекордні показники. Архітектура виявилася надзвичайно далекосяжною: GPT, BERT, ChatGPT та багато інших моделей засновані на варіантах Transformer. З понад 100 000 цитувань — і ця кількість постійно зростає — стаття належить до найбільш цитованих у 21 столітті.
Китайський майстер-план ШІ: боротьба за світове лідерство
20 липня 2017 року Державна рада Китаю оголосила 'New Generation Artificial Intelligence Development Plan' — першу комплексну національну стратегію ШІ такого масштабу. Мета: до 2030 року стати світовою наддержавою в галузі ШІ. Трирівневий план був гранично чітким: 2020 рік — глобальна конкурентоспроможність; 2025 рік — лідерство в окремих підгалузях і значні прориви в основах теорії ШІ; 2030 рік — провідна ШІ-наддержава з промисловим виробництвом на 1 трильйон юанів. Китай прямо визначив ШІ як 'пріоритет міжнародної конкуренції' і 'стратегічну технологію для національної безпеки'. Інвестиції є суттєвими — десятки мільярдів доларів спрямовуються на наукові дослідження, інфраструктуру та розвиток кадрів. План охоплює як військові, так і цивільні застосування: від автономних озброєнь до розумних міст. Принципи відкритого коду мають сприяти міжнародному співробітництву, тоді як Китай водночас прагне технологічної незалежності. Ця стратегія суттєво змінила глобальний ШІ-ландшафт і спричинила хвилю національних ШІ-ініціатив у США та Європі.
Монреальська декларація про відповідальний ШІ
Перша міжнародна ініціатива, яка розробила етичні принципи ШІ через демократичну участь громадян. 3 листопада 2017 року Університет Монреаля розпочав процес спільного формування Монреальської декларації про відповідальний розвиток ШІ. Форум зі суспільно відповідального розвитку ШІ зібрав понад 400 учасників з різних секторів та дисциплін. У 15 дорадчих семінарах протягом трьох місяців понад 500 громадян, експертів і зацікавлених сторін обговорювали суспільні виклики ШІ. Декларація, опублікована 4 грудня 2018 року, містить 10 принципів та 59 рекомендацій, заснованих на таких цінностях, як добробут, автономія, справедливість, приватність та демократія. Маючи понад 500 підписантів, Монреальська декларація утвердила партисипативний підхід до управління ШІ та вплинула на подальші міжнародні зусилля з відповідального розвитку ШІ.
AlphaZero опановує три гри
Народження універсального ШІ для ігор через чисте самонавчання. У грудні 2017 року DeepMind представив AlphaZero — систему, яка без жодних попередніх знань опанувала три зовсім різні стратегічні гри: шахи, шогі та Го. Підхід tabula rasa означав: жодних баз дебютів, жодних людських стратегій — лише правила гри як відправна точка. Протягом 24 годин AlphaZero досяг надлюдського рівня — у шахах вже через 4 години, у шогі — через 2 години. У матчі зі 100 партій проти Stockfish він виграв 28 партій, не програв жодної та досяг 72 нічиїх. Особливість полягала у ефективному пошуку: тоді як Stockfish аналізує 60 мільйонів позицій на секунду, AlphaZero розглядає лише 60 000 — але значно цілеспрямованіше завдяки своїй глибокій нейронній мережі. Це досягнення переконливо продемонструвало узагальнюваність та незалежність від домену чистого навчання з підкріпленням.
Премія Тюрінга за глибинне навчання
У 2019 році ШІ отримав найвищу відзнаку в інформатиці: премія А.М. Тюрінга 2018 року — яку часто називають Нобелівською премією з інформатики — дісталася Йошуа Бенджіо, Джеффрі Хінтону і Яну ЛеКуну, трьом хрещеним батькам глибинного навчання. ACM відзначила їхні концептуальні та технічні прориви, що зробили глибокі нейронні мережі центральним елементом інформатики — від зворотного поширення помилки і згорткових мереж до ідей, що зумовили прорив 2012 року. Нагорода стала запізнілим, офіційним визнанням революції, над якою десятиліттями насміхалися. Чесна оцінка: у глибинного навчання є багато авторів — такі дослідники, як Юрген Шмідгубер, публічно критикували, що важливі внески залишилися недостатньо відзначеними. Премія вшановує центральну роль тріо, а не одноосібне авторство.
GDPR: поворотний момент для захисту даних з впливом на ШІ
25 травня 2018 року набув чинності Загальний регламент ЄС про захист даних (GDPR/DSGVO) — поворотний момент для ШІ та захисту даних у всьому світі. Як 'мати всіх законів про захист даних' він замінив застарілу Директиву 95/46/ЄС 1995 року, що походила з кам'яного віку Інтернету. GDPR запровадив 'Privacy by Design' як обов'язкову вимогу: захист даних має бути вбудований у системи ШІ з самого початку. Глобальний ефект охоплення виявився масштабним — навіть американські технологічні гіганти зобов'язані дотримуватися стандартів ЄС при обробці даних європейців. Для ШІ це стало фундаментальним викликом: як пояснити алгоритми 'чорної скриньки', коли GDPR вимагає прозорості? Спостерігачі побачили стимул розробляти ШІ з меншим обсягом даних, а такі методи, як Transfer Learning (навчання з перенесенням), набули більшого значення. GDPR надихнув на прийняття законів про захист даних у всьому світі — від Каліфорнії до Сингапуру. Регламент заклав основу для Закону ЄС про ШІ 2024 року — від захисту даних до регулювання ШІ був лише один логічний крок.
GPT-1: народження генеративного попереднього навчання
Основа всіх сучасних великих мовних моделей через ненавчане попереднє навчання. 11 червня 2018 року Алек Редфорд із командою OpenAI опублікував визначальну статтю 'Improving Language Understanding by Generative Pre-Training'. Ця робота вперше поєднала архітектуру Transformer з ненавчаним попереднім навчанням і встановила двоетапну парадигму: спочатку генеративне навчання на великих текстових корпусах, а потім тонке налаштування (fine-tuning) для конкретних завдань. Маючи 117 мільйонів параметрів і навчання на наборі даних BooksCorpus з понад 7 000 неопублікованих книг різних жанрів, GPT-1 довів, що Transfer Learning (навчання з перенесенням) працює для розуміння мови. Дванадцятишарова архітектура Transformer типу 'decoder-only' з masked self-attention заклала шаблон для всієї серії GPT. Ця інновація перетворила архітектуру Transformer 2017 року на практичний інструмент для різноманітних завдань NLP і поклала початок ері великих мовних моделей.
BERT суттєво покращує розуміння мови
Важливий крок вперед у двонаправлених мовних моделях та народження сучасної обробки природної мови. У жовтні 2018 року Джейкоб Девлін та його команда в Google Research опублікували статтю про BERT — Bidirectional Encoder Representations from Transformers. Ця інновація суттєво змінила обробку мови, вперше навчивши глибокі двонаправлені представлення на немаркованих текстах. На відміну від попередніх моделей, BERT враховує як лівий, так і правий контекст в усіх шарах одночасно. Результат був помітним: BERT досяг нових найкращих показників у одинадцяти NLP-завданнях та покращив показник GLUE на вагомі 7,7 відсоткового пункту до 80,5%. Саме попереднє навчання тривало кілька днів на багатьох TPU — проте публікація у відкритому доступі демократизувала передову технологію: готову попередньо навчену модель можна було дотренувати (Fine-Tuning) для власного завдання на одній хмарній TPU приблизно за 30 хвилин. BERT утвердив парадигму попереднього навчання з подальшим дотренуванням (Pre-Training-Fine-Tuning), яка сьогодні є основою всіх великих мовних моделей.
GPT-2 — «Занадто небезпечний для публікації»
OpenAI випускає GPT-2 у лютому 2019 року, але несподівано вирішує утримати повну модель на 1,5 мільярда параметрів — нібито «занадто небезпечну» для повного випуску. Це безпрецедентне рішення розколює спільноту ШІ: прихильники хвалять відповідальну позицію з огляду на ризики зловживань, такі як фейкові новини та автоматизований спам. Критики звинувачують OpenAI у «закритті» досліджень та розпалюванні безпідставних страхів. Через девʼять місяців без сильних доказів зловживань OpenAI випускає повну модель і ознаменовує поворотний момент у дебатах про відповідальний розвиток ШІ.
AlphaStar досягає рівня Grandmaster
Підкорення найскладнішої стратегії в реальному часі штучним інтелектом. У липні та серпні 2019 року AlphaStar від DeepMind анонімно виступав у рейтинговому режимі на Battle.net; 30 жовтня 2019 року DeepMind повідомив у науковому журналі Nature, що система стала першим ШІ, який досяг рівня Grandmaster у StarCraft II — грі, яка вважалася надто складною для машин. AlphaStar посів рейтинг вище 99,8% усіх активних гравців Battle.net та опанував усі три раси: Протосс, Терран і Зерг. До цього AlphaStar вже переміг профгравців Гжегожа 'MaNa' Кемінча та Даріо 'TLO' Вюнша з рахунком 5:0 кожного. Особливістю стала архітектура багатоагентного навчання з підкріпленням (Multi-Agent Reinforcement Learning), яка тренувала різні стратегії та контрстратегії у лізі. Із середнім показником 280 дій на хвилину AlphaStar навіть поступався людським профі, проте демонстрував точнішу гру. Це досягнення стало важливою віхою для ШІ у відеоіграх та прийнятті рішень у реальному часі.
T5 — Text-to-Text Transfer Transformer
У жовтні 2019 року Google AI суттєво змінює NLP з T5, Text-to-Text Transfer Transformer, який перетворює всі завдання обробки мови в уніфікований формат 'text-to-text'. З інноваційним підходом 'Everything is Text' переклад, резюмування, відповіді на питання та класифікація можуть виконуватися з тією ж моделлю, тією ж функцією втрат та тими ж гіперпараметрами. T5 вводить всеохоплюючий датасет C4 та досягає майже людської продуктивності на бенчмарках SuperGLUE. Як Foundation Model з до 11 мільярдами параметрів T5 прокладає шлях для сучасних великих мовних моделей та встановлює уніфіковану парадигму text-to-text як стандарт.
RAG: Мовні моделі, що спочатку шукають
Мовна модель знає лише те, що є у її навчальних даних — а у сумнівних випадках впевнено вигадує щось від себе. У 2020 році Патрік Льюїс і колеги з Facebook AI показали вихід: Retrieval-Augmented Generation, скорочено RAG. Ідея бездоганно проста. Перш ніж відповісти, модель шукає в зовнішньому джерелі знань — наприклад, у Вікіпедії — відповідні фрагменти тексту і спирає свою відповідь на знайдене. Так можна оновлювати знання без повторного навчання моделі, а відповідь стає верифікованою. Після успіху ChatGPT RAG перетворився на стандартний метод прив'язки мовних моделей до актуальних, перевіряємих джерел — основу майже всіх застосунків, де можна спілкуватися зі своїми документами. Чесна оцінка: RAG зменшує галюцинації, але не усуває їх. Якщо знайдене є хибним або модель неправильно розуміє знахідку, вона все одно помиляється. Він надає посилання, а не справжнє розуміння — і спирається на більш ранні дослідження у сфері пошуку.
Закони масштабування нейронних мереж
Джаред Каплан, Сем МакКандліш, Том Браун та Даріо Амодей відкривають у січні 2020 року фундаментальні математичні закони нейронного масштабування і тим самим суттєво змінюють розробку великих мовних моделей. Основоположна робота OpenAI та Університету Джонса Гопкінса показує, що продуктивність підпорядковується степеневим законам залежно від розміру моделі, обсягу набору даних та обчислювальної потужності — з тенденціями протягом семи порядків величини. Елегантні рівняння вперше дають змогу систематично прогнозувати розподіл ресурсів і утверджують парадигму 'що більше, то краще'. Ці математичні основи безпосередньо привели до успіху GPT-3 і перетворили розробку ШІ з експериментального методу спроб і помилок на науково обґрунтоване та передбачуване масштабування. Конкретне правило розподілу ресурсів Каплана — суттєво збільшувати розмір моделі, але лише незначно збільшувати обсяг даних — було скориговано у 2022 році статтею Chinchilla від DeepMind: оптимальне за обчислювальними витратами навчання вимагає значно більше навчальних даних, ніж спочатку рекомендувалося.
GPT-3: модель з 175 мільярдами параметрів
Прорив до навчання за малою кількістю прикладів та емерджентних можливостей ШІ. 28 травня 2020 року команда OpenAI на чолі з Томом Брауном представила значущу статтю 'Language Models are Few-Shot Learners' — GPT-3 зі 175 мільярдами параметрів, більш ніж у 100 разів більшою, ніж GPT-2. Масштабування виявило емерджентні здатності: модель могла розв'язувати нові завдання лише за кількома прикладами без тонкого налаштування. Від перекладів через словесні головоломки до тризначної арифметики GPT-3 демонстрував вражаючу різноманітність. Людські оцінювачі ледь могли відрізнити новинні статті, згенеровані GPT-3, від справжніх. Завдяки лише навчанню в контексті (In-Context Learning) GPT-3 наближався до найкращих результатів в окремих підзавданнях SuperGLUE — однак на загальному тесті залишався з приблизно 71,8 балами помітно позаду тонко налаштованих лідерів (близько 89). 31 дослідник OpenAI (Том Браун і 30 співавторів) довели: масштабне збільшення кількості параметрів може породжувати якісно нові здатності. GPT-3 заклав фундамент для ChatGPT та сучасної ери великих мовних моделей.
DDPM: Дифузійні моделі утверджені
Математичний фундамент сучасної генерації зображень через процеси шумозаглушення. У червні 2020 року Джонатан Хо, Аджай Джейн та Пітер Аббіл опублікували впливову статтю «Denoising Diffusion Probabilistic Models» — клас моделей латентних змінних, натхненних нерівноважною термодинамікою. Їхня інновація полягала у зваженій варіаційній межі та звʼязку між дифузійними моделями та Denoising Score Matching з динамікою Ланжевена. Результати були вражаючими: FID-score 3,17 на CIFAR-10 та Inception-score 9,46. DDPM встановили прогресивний підхід втратної декомпресії, який можна інтерпретувати як узагальнення авторегресивного декодування. Ця робота заклала математичний фундамент для Stable Diffusion та всієї сучасної генерації зображень з тексту.
Vision Transformer: 'An Image is Worth 16x16 Words'
Архітектура Transformer у комп'ютерному зорі. 22 жовтня 2020 року команда Alexey Dosovitskiy з Google Research опублікувала статтю 'An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale'. Vision Transformer (ViT) показав, що згорткові нейронні мережі (CNN) не є необхідними — чисті Transformer можуть застосовуватися безпосередньо до послідовностей фрагментів зображень. Ключовий висновок ('at Scale'): лише після великомасштабного попереднього навчання на величезних наборах даних (ImageNet-21k або JFT-300M) ViT досягає порівнянних або кращих результатів, ніж найсучасніші CNN; на середніх наборах даних без такого попереднього навчання ViT натомість показує гірші результати. Система розбиває зображення на фрагменти — як правило, 16x16 пікселів, але залежно від варіанту можуть бути й інші розміри — обробляє їх як послідовності токенів і застосовує стандартну архітектуру Transformer. Стала очевидною універсальність архітектури Transformer: та сама технологія, що змінила обробку природної мови (NLP), працює і в комп'ютерному зорі. ViT надихнув нове покоління моделей комп'ютерного зору на основі уваги та продемонстрував силу уніфікованих архітектур.
Успіх AlphaFold
Розвʼязання 50-річної біологічної загадки за допомогою штучного інтелекту. У листопаді 2020 року AlphaFold 2 від DeepMind домінував на змаганні CASP14 з точністю, яку вчені назвали «приголомшливою» та «трансформативною». Система досягла GDT-балу 92,4 зі 100 у прогнозуванні структури білків — точності, що відповідає експериментальним методам, таким як рентгенівська кристалографія. При цьому AlphaFold значно перевершив 145 інших команд і розвʼязав проблему, яка турбувала біологію з 1970-х років. Нейромережева архітектура на основі механізму уваги може за кілька днів передбачити, як згортаються білки — процес, фундаментальний для розуміння життя. За це досягнення Деміс Хассабіс та Джон Джампер отримали Нобелівську премію з хімії 2024 року.
CLIP: міст між зображенням і мовою
Того ж дня, коли OpenAI представив DALL-E — 5 січня 2021 року, — з'явилася, мабуть, доленосніша модель: CLIP. Вона навчилася не створювати зображення, а розуміти зображення і мову в одному просторі. З приблизно 400 мільйонів пар зображення-текст із мережі команда Алека Радфорда навчала два енкодери у контрастному режимі, поки відповідні зображення і підписи до них не опинялися в одній точці спільного векторного простору. Ефект виявився вражаючим: CLIP міг класифікувати зображення в режимі zero-shot — категорії просто описувалися словами, без жодного навчання на конкретному завданні. Так він досяг 76,2 % на ImageNet, нарівні з ResNet-50, навченим на 1,28 мільйона підписаних прикладів, — жодного з яких CLIP не бачив. Для загальної картини: CLIP став фундаментом хвилі перетворення тексту на зображення — DALL-E 2 базується на вбудовуваннях CLIP, а Stable Diffusion безпосередньо використовує текстовий енкодер CLIP. Оцінка: контрастні моделі зображення-текст існували раніше (ConVIRT вийшов кількома місяцями раніше) — внесок CLIP полягав у масштабі, широті zero-shot і відкритих вагах, що породили ціле екосистему.
DALL-E створює зображення з тексту
Важливий прорив у генерації зображень за текстом і значний крок уперед для творчих можливостей ШІ. 5 січня 2021 року OpenAI представила DALL-E — систему, що генерує зв'язні й нерідко вражаюче творчі зображення з текстових описів. Моделі 'текст-у-зображення' існували й раніше (наприклад, alignDRAW 2015 або GAN-підходи на кшталт StackGAN і AttnGAN), однак DALL-E вивела зв'язність та різноплановість на новий рівень. Побудована на 12-мільярдній параметричній версії GPT-3, DALL-E довела, що межу між розумінням мови й зображень можна подолати. Система навчалася на 250 мільйонах пар 'зображення-текст' із Інтернету й розвинула помітні можливості: антропоморфізацію тварин, правдоподібне поєднання непов'язаних концепцій і навіть відтворення тексту в зображеннях. Марк Рідл із Технологічного інституту Джорджії зазначив, що результати є 'помітно більш зв'язними', ніж у будь-якої попередньої системи 'текст-у-зображення'. DALL-E успішно розширила мовне розуміння GPT у візуальну сферу й відкрила абсолютно нові виміри творчих можливостей ШІ.
Заснування Anthropic
Коли колишні керівники OpenAI захотіли реалізувати власне бачення безпечного ШІ. У січні 2021 року Даріо та Даніела Амодеї разом із п'ятьма іншими колишніми дослідниками OpenAI — зокрема Томом Брауном, Джаредом Капланом та Крісом Олаєм — заснували Anthropic; загалом сім співзасновників. Брат і сестра раніше обіймали ключові посади в OpenAI — Даріо як VP of Research. Їхня нова компанія мала зосередитися на безпеці ШІ та розробці надійних, інтерпретованих систем. Розробивши Constitutional AI, Anthropic запропонував інноваційний підхід до навчання ШІ-систем на основі принципів, а не лише людського зворотного зв'язку. Claude, їхній ШІ-асистент, став одним із провідних конкурентів ChatGPT.
GitHub Copilot: ШІ-напарник програміста
Демократизація ШІ-підтримуваної розробки програмного забезпечення для мільйонів розробників. 29 червня 2021 року GitHub анонсував Technical Preview Copilot — першого ШІ-напарника програміста, на базі OpenAI Codex. На основі варіанту GPT-3, натренованого на мільярдах рядків публічного коду з репозиторіїв GitHub, Copilot міг генерувати доповнення коду та цілі функції з коментарів. Базова модель Codex досягла 28.8% успішності з першої спроби у бенчмарку HumanEval — значно краще за GPT-3 з 0%. Особливо вражаюче: зі 100 спробами семплювання показник успішності зріс до 70.2%. Copilot особливо добре працював з Python, JavaScript, TypeScript, Ruby та Go. Обмежений Technical Preview викликав величезний інтерес та утвердив ШІ-асистоване програмування як життєздатний інструмент. Copilot фундаментально змінив досвід розробників та проклав шлях для нового покоління ШІ-підтримуваних інструментів кодування.
OpenAI Codex: ШІ програмує для людей
10 серпня 2021 року OpenAI випустила Codex через API та суттєво змінила розробку програмного забезпечення — масштабний ШІ для генерації коду. Базуючись на GPT-3, але навчений на 159 гігабайтах коду Python з 54 мільйонів репозиторіїв GitHub, Codex перетворював природну мову на функціональний код. 'Створи функцію для простих чисел' за лічені секунди ставав справжнім кодом Python. Ще раніше, 29 червня 2021 року, завдяки партнерству з GitHub з'явилася технічна попередня версія Copilot — ШІ-асистент з програмування, що вже працював на ранній версії Codex. Codex володів більш ніж дюжиною мов програмування: Python, JavaScript, Go, Ruby, Swift та іншими. У еталонному тесті HumanEval Codex-S, відрегульований для коду, вирішував близько 37 % завдань з першої спроби (pass@1) — базова модель досягала близько 29 %; вражаюче, але не міра для довільних запитів. GitHub Copilot став значним підвищенням продуктивності для розробників. Codex довів: ШІ може підтримувати творчу, складну когнітивну роботу. Від генерації коду до розуміння коду — Codex відкрив двері до розробки програмного забезпечення за допомогою ШІ.
InstructGPT: міст до ChatGPT
Між методом і світовим успіхом лежав вирішальний проміжний крок — і він мав назву InstructGPT. На початку 2022 року OpenAI показав у статті Training language models to follow instructions with human feedback, як змусити GPT-3 справді робити те, чого хочуть користувачі: за допомогою навчання з підкріпленням на основі людського зворотного зв'язку (RLHF). Приголомшливий результат: InstructGPT лише з 1,3 мільярда параметрів люди воліли GPT-3 зі 175 мільярдами параметрів, який у сто разів більший. Різницю робила не сира розмірність, а орієнтація на намір. InstructGPT став безпосереднім технічним мостом між ідеєю RLHF (2017) і ChatGPT, який наприкінці 2022 року популяризував цей самий метод. Для чесної оцінки: InstructGPT не винайшов RLHF — це зробила стаття 2017 року, — але він уперше у великому масштабі показав, наскільки узгодженість робить мовну модель кориснішою.
Chinchilla: масштабування переосмислено
У 2022 році DeepMind поставив незручне запитання: а чи правильно ми взагалі будуємо наші ШІ-моделі? У статті Training Compute-Optimal Large Language Models команда Джордана Гоффманна показала, що найбільші мовні моделі того часу — GPT-3, Gopher — мали багато параметрів, але замало навчальних даних. Їхнє виправлення, відоме сьогодні як закони масштабування Chinchilla: при заданому обчислювальному бюджеті розмір моделі і кількість даних мають зростати приблизно однаково. Для доказу вони навчили Chinchilla на 70 мільярдах параметрів і 1,4 трильйона токенів — і перевершили вчетверо більший Gopher (280 мільярдів). Це змінило підхід до навчання практично кожної наступної провідної моделі. Для чесної оцінки: Chinchilla не винайшов закони масштабування, а скоригував попередні від Каплана (2020); пізніші моделі, як-от Llama, свідомо перевищували оптимальне за обчисленнями співвідношення, щоб бути ефективнішими під час використання.
PaLM: Велетень Google із 540 мільярдами параметрів
У 2022 році Google показав, наскільки далеко можна масштабувати мовні моделі: PaLM — Pathways Language Model — мав 540 мільярдів параметрів і навчався за допомогою системи Pathways Google на тисячах чіпів TPU. Вражала не стільки колосальна кількість параметрів, скільки те, на що PaLM був здатен. Завдяки так званим підказкам ланцюжка думок (Chain-of-Thought Prompts), коли модель записує хід вирішення крок за кроком, вона розв'язувала багатоетапні текстові завдання і навіть пояснювала суть жартів. PaLM став символом ідеї емерджентних здібностей — навичок, що несподівано з'являються лише при досягненні певного розміру моделі. Це був пік епохи масштабування Google і попередник PaLM 2 та Gemini. Чесна оцінка: 540 мільярдів параметрів — надзвичайно дорого, і PaLM так і не вийшов як відкрита модель. Теза про емерджентні здібності також є дискусійною — деякі з цих стрибків частково є артефактом обраного методу вимірювання.
Stable Diffusion: Генерація зображень з відкритим кодом
Демократизація ШІ-генерації зображень через першу потужну модель з відкритим кодом. 22 серпня 2022 року Stability AI випустила Stable Diffusion та суттєво змінила доступ до просунутої технології text-to-image. Як перша модель з відкритим кодом свого класу, Stable Diffusion могла генерувати фотореалістичні зображення 512x512 пікселів на споживчих GPU — важливий прогрес для швидкості та доступності. Заснована на Latent Diffusion Models (LDMs), система ітерує через 'de-noising' у латентних просторах замість прямої маніпуляції пікселями. З 860 мільйонами параметрів у U-Net та 123 мільйонами у текстовому енкодері вона залишалася відносно легкою, незважаючи на високу продуктивність. Доступний на GitHub вихідний код дозволив вибухово зростаючій спільноті розробляти незліченні варіанти та інструменти. Stable Diffusion прорвала монополію пропрієтарних систем та зробила високоякісну ШІ-генерацію зображень доступною для кожного.
OpenAI випускає Whisper
Коли розпізнавання мовлення нарешті стало надійним — і доступним для всіх. 21 вересня 2022 року OpenAI опублікував Whisper — систему розпізнавання мовлення, навчену для надійної роботи з різними мовами, акцентами та фоновими шумами. На відміну від попередніх систем, навчених на чистих аудіоданих, Whisper використовував 680 000 годин багатомовних даних з Інтернету. Результат: система, здатна транскрибувати 99 мовами і при цьому конкурувати з комерційними рішеннями. OpenAI надав Whisper у відкритому доступі (open source) — подарунок розробникам по всьому світу, що відкрив можливості для незліченних застосунків.
ChatGPT позначає поворотний момент у використанні ШІ
Момент, коли ШІ став доступним для всіх і розпочалася нова ера. 30 листопада 2022 року OpenAI оприлюднила ChatGPT як безкоштовний Research Preview — без масштабного маркетингу і з невисокими очікуваннями. Те, що відбулося далі, перевершило всі прогнози: за 5 днів ChatGPT досяг одного мільйона користувачів, а за два місяці — 100 мільйонів. Тоді це було найшвидше зростання аудиторії у споживчих застосунках (у липні 2023 року рекорд побив Threads від Meta). Побудований на базі GPT-3.5, ChatGPT вперше надав широкій аудиторії прямий доступ до потужного ШІ без технічних бар'єрів. Кевін Русе з New York Times назвав його 'найкращим ШІ-чат-ботом, будь-коли відкритим для широкого загалу'. ChatGPT демократизував штучний інтелект і перетворив наукову галузь на повсякденний інструмент. Ця публікація ознаменувала початок нинішньої хвилі генеративного ШІ.
Constitutional AI — безпека ШІ через конституцію
У грудні 2022 року Anthropic представила Constitutional AI (CAI) — новий метод розробки нешкідливих, корисних та чесних ШІ-систем. 'Конституція' з етичних принципів дозволяє ШІ самостійно критикувати й удосконалювати власні відповіді на шкідливий контент — без людських мітих для оцінки саме цієї шкоди. (Пряме посилання на цих принципах на Загальну декларацію прав людини ООН та інші документи про основні права Anthropic описала лише в травні 2023 року у 'Claude's Constitution'; оригінальна стаття використовувала прагматично зібраний набір принципів.) Інноваційний метод RLAIF (Reinforcement Learning from AI Feedback) замінює людський зворотний зв'язок у питаннях нешкідливості на ШІ-самокритику — корисність же надалі навчається на основі людських даних переваг (RLHF). Таким чином CAI встановлює підхід 'безпека передусім' як альтернативу суто продуктивнісному підходу ChatGPT і прокладає шлях до відповідальної розробки ШІ.
NIST AI Framework: США визначають надійний ШІ
26 січня 2023 року Національний інститут стандартів і технологій США (NIST) опублікував перший комплексний Framework з управління ризиками штучного інтелекту (AI RMF 1.0) — відповідь Америки на глобальне регулювання ШІ. Після 18 місяців розробки за участю понад 240 організацій з промисловості, науки та громадянського суспільства NIST вперше визначив загальнодержавні стандарти для надійного ШІ. Framework встановлює чотири основні функції: Govern, Map, Measure, Manage — та сім характеристик надійного ШІ: безпечний, стійкий, пояснюваний, захищений з точки зору приватності, справедливий, прозорий та надійний. Як добровільний стандарт він має на меті мінімізувати ризики ШІ для людей, організацій і суспільства. Публікація пішла слідом за AI Bill of Rights Байдена (2022) і пізніше була доповнена його AI Executive Order (жовтень 2023). AI RMF було створено за законодавчим дорученням National AI Initiative Act of 2020 — NIST тут продовжив свою усталену роль федерального органу зі стандартів. Framework став основою для галузевих стандартів та міжнародної координації — противагою державному контролю ШІ в Китаї та регуляторному підходу Європи.
LLaMA: фундаментальна модель з відкритим вихідним кодом
Демократизація великих мовних моделей через відкриті дослідницькі моделі. 24 лютого 2023 року Meta AI опублікувала LLaMA (Large Language Model Meta AI) — колекцію фундаментальних моделей від 7B до 65B параметрів, навчених виключно на загальнодоступних даних. Визначальна стаття 'LLaMA: Open and Efficient Foundation Language Models' довела, що найсучасніших результатів можна досягти без пропрієтарних наборів даних. LLaMA дала дослідникам без доступу до великої інфраструктури можливість вивчати розширені мовні моделі. Код для інференсу було опубліковано під ліцензією GPLv3, тоді як доступ до ваг моделей надавався у кожному конкретному випадку для академічних досліджень. Навчена на трильйонах токенів і представлена в різних розмірах, LLaMA адресувала різні апаратні вимоги. Ця робота каталізувала хвилю відкритих досліджень у сфері великих мовних моделей та надихнула численні похідні моделі у спільноті відкритого програмного забезпечення.
Claude та Constitutional AI
Представлення ШІ з вбудованою системою цінностей та етичними принципами. У березні 2023 року Anthropic представив Claude — ШІ-асистента на основі Constitutional AI, який встановив новий підхід до безпеки ШІ. На відміну від традиційних систем, Claude навчається через двофазний метод: спочатку модель критикує та покращує власні відповіді на основі конституції етичних принципів, потім вона удосконалюється через ШІ-згенерований зворотний звʼязок — без людських оцінок для уникнення шкоди. Результат — система, яка діє водночас корисно та безпечно. Anthropic одночасно випустила Claude та Claude Instant, де останній є швидшим та дешевшим варіантом. Цей метод Constitutional AI виявився Парето-покращенням порівняно з людським зворотним звʼязком і відкрив нові шляхи для масштабованого ШІ-нагляду.
GPT-4: мультимодальна модель ШІ
Прорив до людського рівня у професійних та академічних тестах. 14 березня 2023 року OpenAI представив GPT-4 — Large Multimodal Model, що обробляє текстові та візуальні вхідні дані та досягає людського рівня в різних дисциплінах. Поліпшення були суттєвими: тоді як GPT-3.5 склав іспит адвоката (Bar Exam) в нижніх 10%, GPT-4 досяг верхніх 10%. На математичному тесті SAT результат покращився з 70-го до 89-го перцентиля. Після шести місяців ітеративного вирівнювання (alignment) з висновками програми adversarial testing та відгуків ChatGPT весь стек глибинного навчання було перебудовано. Мультимодальні можливості дозволяють обробляти документи, діаграми та знімки екрана з тією самою якістю, що й чисто текстові вхідні дані. GPT-4 встановив нові стандарти безпеки та продуктивності ШІ.
Midjourney V5: Фотореалістичне мистецтво ШІ
Фотореалістична генерація зображень ШІ досягає нового рівня якості та суттєво змінює творчу індустрію. 15 березня 2023 року Midjourney випустила версію 5 і здійснила якісний стрибок, який користувачі описували як 'моторошний' та 'надто досконалий'. Альфа-версія вперше змогла генерувати фотореалістичні зображення, що майже не відрізнялися від справжніх фотографій. Особливо примітним було суттєве покращення хронічної проблеми з неправильними руками — V5 у більшості випадків коректно зображувала п'ять пальців. Джулі Вілланд, графічний дизайнер, порівняла цей досвід з 'нарешті отриманням окулярів після тривалого ігнорування поганого зору' — раптово все стало видно в якості 4K [Джерело: Ars Technica, березень 2023]. Покращена чутливість до промптів забезпечила точніший творчий контроль, тоді як автоматичне масштабування збільшувало базові зображення розміром 1024x1024 пікселі без додаткових витрат на GPU. V5 спровокувала інтенсивні дискусії про майбутнє людської творчості.
Указ Байдена щодо ШІ — перше комплексне регулювання США
Президент Байден підписав 30 жовтня 2023 року Executive Order 14110 про 'безпечний, захищений та надійний розвиток і використання штучного інтелекту' — перше комплексне регулювання ШІ у США та, обсягом 110 сторінок, найдовший виконавчий указ в історії. Цей масштабний указ зобов'язував розробників потужних ШІ-систем розкривати результати тестування безпеки та встановлював суворі стандарти червоних команд (Red Team) через NIST. Він захищав від шахрайства на основі ШІ через автентифікацію контенту та водяні знаки, адресував ризики для критичної інфраструктури та біологічні загрози. На момент підписання цей указ встановлював глобальні стандарти для відповідальної розробки ШІ та позиціонував США як піонера у сфері управління ШІ. Однак його дія виявилася нетривалою: 20 січня 2025 року президент Трамп скасував EO 14110 через Executive Order 14148 — таким чином цей документ відображає регуляторний стан 2023 року.
Лист про паузу та Блетчлі: безпека ШІ стає глобальною
У 2023 році, в першому потрясінні після ChatGPT, світ намагався виробити правила для раптово могутньої технології. У березні тисячі підписантів — серед них Йошуа Бенджіо та Ілон Маск — у відкритому листі Future of Life Institute закликали до шестимісячної паузи в навчанні ШІ-систем потужніших за GPT-4. Паузи не сталося, але лист вивів тему на глобальну порядку денну. У листопаді відбувся перший Глобальний саміт з безпеки ШІ у британському Блетчлі-Парку — свідомо на місці, де Тюрінг колись зламував шифри. 28 держав і ЄС, зокрема США та Китай, підписали Блетчлійську декларацію про ризики передового ШІ. Вперше суперницькі держави спільно говорили про безпеку ШІ — початок серії самітів (Сеул 2024, Париж 2025). Для чесної оцінки: паузи так і не було, а Блетчлійська декларація є необов'язковою — обидва заходи поставили теми на порядок денний, але не створили норм із механізмом примусового виконання.
Mistral і Mixtral: Відкриті моделі Європи
Поки 2023 рік здебільшого перебував під знаком американських технологічних гігантів, із Парижа вийшов справжній претендент: Mistral AI, заснований навесні 2023 року Артуром Меншем (раніше — Google DeepMind), а також Ґійомом Ламплем і Тімоте Лакруа (раніше — Meta). Вже у вересні невелика модель Mistral 7B приголомшила фахівців — вільно доступна під ліцензією Apache 2.0, вона виявилася сильнішою за помітно більшу Llama 2 13B. У грудні з'явилася Mixtral 8x7B: відкрита модель із архітектурою Mixture-of-Experts, яка на багатьох завданнях досягала рівня GPT-3.5, але активувала лише незначну частину своїх параметрів на один запит (близько 13 із 47 мільярдів). Mistral стала європейським символом відкритих моделей і залучила мільярди інвестицій. Чесна оцінка: відкриті ваги — це не те саме, що Open Source: навчальні дані та код залишаються закритими. І Mixtral досягла рівня GPT-3.5, а не тодішньої топ-моделі GPT-4; сама архітектура Mixture-of-Experts є значно старішою.
Google Gemini: мультимодальна родина ШІ
Відповідь Google на ChatGPT та прорив до нативної мультимодальності. 6 грудня 2023 року Google оголосив про Gemini 1.0 — родину ШІ, розроблену з нуля для мультимодальності. Співпраця між DeepMind і Google Brain втілилась у трьох розмірах моделей: Gemini Ultra для надскладних завдань, Gemini Pro як збалансоване рішення та Gemini Nano для застосувань безпосередньо на пристрої. На відміну від систем, розширених ретроспективно, Gemini спочатку розроблявся з нативним розумінням мовлення, аудіо, коду та відео. У шести з восьми тестах Gemini Pro перевершив стандарт GPT-3.5, зокрема в тестах MMLU. У день оголошення звичайний Bard отримав нові можливості завдяки Gemini Pro; потужніший Bard Advanced з Gemini Ultra Google анонсував на початок 2024 року. Gemini позначив стратегічну відповідь Google на домінування OpenAI та встановив мультимодальний ШІ як новий стандарт для великих мовних моделей.
Втілений ШІ: моделі отримують тіло
Роками великі ШІ-моделі існували лише на екранах — писали тексти, малювали зображення, вели розмови. У 2024 році це почало змінюватися: він став роком втіленого ШІ. Ідея полягає в тому, щоб помістити ті самі базові моделі, які розуміють мову і зображення, у справжні тіла — насамперед у гуманоїдних роботів. Компанія Figure об'єдналася з OpenAI і показала робота, який говорить, бачить і маніпулює предметами. NVIDIA представила Project GR00T — базову модель спеціально для гуманоїдів, а молоді фірми на кшталт Physical Intelligence отримували оцінку в мільярди. Багато хто вже говорив про ChatGPT-момент для робототехніки. Для чесної оцінки: переважно це були демонстрації та оголошення, а не машини, що надійно працюють у повсякденному житті. Фізичний світ набагато складніший для робота, ніж екран, — спритність, безпека і надійність залишаються невирішеними проблемами.
Waymo: Безпілотне таксі стає буденністю
Понад десятиліття автономне керування автомобілем було хрестоматійним прикладом обіцянок ШІ, що постійно відкладалися. У 2024 році воно стало відчутним: Waymo, дочірня компанія Google з розробки роботизованих автомобілів, вперше у великому масштабі зробила безпілотні таксі доступними для широкої публіки — у Сан-Франциско, Лос-Анджелесі й Фінксі. Влітку 2024 року компанія повідомила про понад 100 000 оплачених поїздок на тиждень, повністю без водія-страхувальника за кермом. Після років, повних оголошень, це був перший переконливий доказ того, що автономне керування може функціонувати як справжній, повсякденний сервіс. Чесна оцінка: Waymo їздить лише у вузьких, ретельно картографованих міських районах — не скрізь і не за будь-якої погоди. Збої та зупинки автомобілів досі трапляються, а сама діяльність є дорогою. Повністю автономне керування всюди залишається невирішеним; відхід конкурента Cruise після серйозної аварії у 2023 році показав, наскільки крихкою ця технологія ще є.
Sora: відео, згенеровані ШІ з тексту
Прогрес до фотореалістичних відео, згенерованих ШІ, та їх вплив на кіноіндустрію. 15 лютого 2024 року OpenAI представила Sora — модель перетворення тексту у відео, яка генерує детальні HD-відео тривалістю до однієї хвилини з коротких описів. Названа на честь японського слова 'небо', Sora символізує 'безмежний творчий потенціал'. Як дифузійний трансформер Sora адаптує технологію DALL-E 3 для забезпечення часової узгодженості і нерідко — хоча й не завжди надійно — симулює фізично правдоподібний рух. Демонстраційні відео перевершили всі наявні системи перетворення тексту у відео і встановили нові стандарти для ШІ-креативності. Режисер Тайлер Перрі зупинив розширення своєї кіностудії на 800 мільйонів доларів через занепокоєння впливом Sora на галузь. OpenAI дотримувалася обережного підходу з тестуванням red team на предмет дезінформації та упередженості перед ширшим випуском.
Сімейство Claude 3 з мультимодальними можливостями
Представлення сімейства ШІ з можливістю бачення та трьома спеціалізованими моделями. 4 березня 2024 року Anthropic представила сімейство Claude 3: Opus, Sonnet та Haiku — три моделі з різними сильними сторонами для різних випадків використання. Центральною функцією була складна обробка зображень, яка може аналізувати фотографії, графіки, діаграми та технічні креслення. Claude 3 Opus досягла нових найкращих результатів у когнітивних завданнях та перевершила конкурентів у бенчмарках, таких як MMLU та GPQA. Sonnet пропонувала ідеальний баланс між інтелектом та швидкістю для підприємств, тоді як Haiku вражала майже миттєвим часом відгуку. З контекстним вікном у 200 000 токенів (розширюваним до 1 мільйона) та доступністю у 159 країнах Claude 3 встановила нові стандарти для мультимодальних ШІ-систем.
Devin: перший автономний ШІ-інженер з розробки програмного забезпечення
Народження повністю автономної розробки програмного забезпечення за допомогою штучного інтелекту. 12 березня 2024 року Cognition Labs представила Devin — позиціонований компанією як перший у світі повністю автономний ШІ-інженер з розробки програмного забезпечення. Система здатна самостійно планувати, клонувати репозиторії, писати код, налагоджувати, тестувати й навіть розгортати його. На складному бенчмарку SWE-Bench Devin досяг 13,86% успішності при роботі з реальними задачами GitHub — колосальний стрибок порівняно з попереднім рекордом у 1,96%. Стартап отримав оцінку близько 350 мільйонів доларів у ранньому раунді фінансування; невдовзі після запуску з'явилися повідомлення про оцінку близько 2 мільярдів доларів. Попри вражаючі результати, тести виявили й обмеження: лише 3 з 20 завдань вирішено успішно, нерідко з непередбачуваними збоями.
AlphaFold 3: ШІ передбачає взаємодію молекул
Через чотири роки після прориву AlphaFold 2 компанія Google DeepMind у травні 2024 року зробила наступний крок — разом із дочірньою фірмою Isomorphic Labs. AlphaFold 2 передбачав, як окремий білок згортається у тривимірну форму. AlphaFold 3 іде на вирішальний крок далі: він моделює, як білки взаємодіють з іншими молекулами — з ДНК, РНК, іонами та малими молекулами-ліками. Саме ця взаємодія є ключовою для фармацевтичних досліджень, адже дозволяє комп'ютерно оцінити, як ліки зв'язуються зі своїм цільовим білком. Для чесної оцінки: передбачення вражаючі, але не бездоганні — їхня точність варіюється залежно від типу молекули, і в лабораторії їх досі необхідно перевіряти. Крім того, AlphaFold 3 спочатку з'явився без відкритого вихідного коду — лише як обмежений вебсервіс, що викликало критику щодо відтворюваності результатів у наукових колах.
AlphaProof: ШІ здобуває срібло на математичній олімпіаді
Математика довго вважалася вищим пілотажем, де ШІ зазнає поразки, — надто творчою, надто залежною від справжнього розуміння. У липні 2024 року Google DeepMind поставив знак оклику: система AlphaProof разом з AlphaGeometry 2 розв'язала чотири із шести задач Міжнародної математичної олімпіади. Це відповідало рівню срібної медалі — лише одне очко не вистачало до золота. Особливість підходу: AlphaProof формулює доведення формальною мовою Lean, яка робить кожен крок машинно перевірним, — тобто ШІ не може шахраювати. Навчався він методом навчання з підкріпленням. Вперше ШІ досяг медального рівня на цьому престижному змаганні. Для чесної оцінки: це були не справжні умови змагань. Там, де учасникам дають лише чотири з половиною години, ШІ інколи рахував цілими днями, а фахівці вручну перекладали задачі формальною мовою. Дві комбінаторні задачі залишилися нерозв'язаними.
Акт ЄС про ШІ: перший комплексний закон про штучний інтелект
Перше у світі комплексне регулювання штучного інтелекту набуває чинності. 1 серпня 2024 року Акт ЄС про ШІ набув юридичної сили — нормативна база, заснована на оцінці ризиків, з 180 преамбульними положеннями та 113 статтями, що охоплює весь життєвий цикл систем ШІ. Закон класифікує системи ШІ за чотирма рівнями ризику: неприпустимі застосування забороняються, системи високого ризику в освіті, зайнятості та судочинстві підпадають під детальні вимоги щодо відповідності, системи обмеженого ризику зобов'язані виконувати вимоги прозорості, а переважна більшість із мінімальним ризиком залишається практично нерегульованою. Окремі правила діють для базових GPAI-моделей, таких як GPT, що живлять, зокрема, ChatGPT. Екстериторіальна дія закону охоплює і постачальників за межами ЄС, якщо вони обслуговують європейських користувачів. За порушення загрожують штрафи до 35 мільйонів євро або 7% річного світового обороту. Як і GDPR у 2018 році, Акт про ШІ може встановити глобальні стандарти і визначити, як ШІ впливатиме на наше життя. Поетапне впровадження розпочинається у 2025 році і повністю завершується до 2027 року.
OpenAI O1 — прогрес у міркуванні
12 вересня 2024 року OpenAI спочатку випускає o1-preview (та o1-mini) і суттєво розширює можливості ШІ у міркуванні завдяки ланцюжку думок (Chain-of-Thought), послідовність якого навчається через навчання з підкріпленням. O1 — перша широко доступна мовна модель, що систематично 'думає' перед відповіддю: за допомогою прихованого ланцюжка думок вона аналізує проблеми крок за кроком. Цей новий підхід відкриває додатковий вимір масштабування: масштабування під час виконання (Test-Time Scaling), де триваліше 'обдумування' призводить до кращих результатів. Повна модель o1 досягає в еталонних тестах результатів рівня доктора наук з фізики, хімії та біології, а також вирішує 83 % завдань Американської запрошувальної математичної олімпіади (GPT-4o: 13 %). Технологія демонструє, що ШІ може розвивати суттєво покращені здібності до розв'язання задач завдяки структурованому міркуванню.
Нобелівські премії 2024 з ШІ
У жовтні 2024 сталося щось безпрецедентне: відразу дві Нобелівські премії з природничих наук відзначили основи сучасного ШІ. 8 жовтня Нобелівська премія з фізики була присуджена Джону Хопфілду і Джеффрі Хінтону — за фундаментальні відкриття, що уможливлюють машинне навчання за допомогою штучних нейронних мереж. Те, що саме фізика відзначила нейронні мережі, викликало дискусії — проте натхнені фізикою мережі Хопфілда (1982) і методи навчання Хінтона справді заклали фундамент. Наступного дня Нобелівська премія з хімії дісталася Девіду Бейкеру (за комп'ютерне проектування білків) та Демісу Гасабісу й Джону Джамперу з DeepMind — за AlphaFold, що вирішив 50-річну проблему згортання білків. Уперше фундаментальні дослідження в галузі ШІ були відзначені на найвищому рівні науки. Примітно: Хінтон, щойно оголошений лауреатом, скористався трибуною, щоб водночас попередити про ризики технології, яку він сам допоміг створити.
OpenAI o3: Прорив на ARC-AGI
Наприкінці 2024 року, 20 грудня, OpenAI оголосив про o3 — наступника o1 і доказ того, що міркування під час виконання (Test-Time-Scaling) можна масштабувати далі. Найбільше уваги привернув один показник: o3 набрав 87,5% на ARC-AGI — тесті, що навмисно розроблений так, щоб його не можна було скласти завдяки заучуванню напам'ять; попередні моделі тут були близькі до нуля. Таким чином o3 уперше наблизився до людського рівня на цьому бенчмарку, а також блиснув у математиці та програмуванні. Разом із o1 і DeepSeek R1 o3 ознаменував еру моделей-мислителів (o3-mini вийшов наприкінці січня 2025, повноцінний o3 — у квітні). Чесна оцінка: 87,5% були отримані у режимі максимальної продуктивності з колосальними — і дуже дорогими — обчислювальними витратами на кожне завдання; організатори ARC Prize прямо наголосили, що o3 не є AGI і помітно програє на складнішому наступнику ARC-AGI-2.
Агентний ШІ стає масовим
У 2024–2025 роках змінилося саме призначення ШІ: від відповідей — до дій. Перші кроки зробив Anthropic у жовтні 2024 року з Computer Use — як перша з провідних ШІ-лабораторій вона представила модель, що самостійно керує комп'ютером: дивиться на екран, рухає мишею, клацає, друкує. У січні 2025 року OpenAI запустив Operator — агент, який самостійно переглядає вебсторінки і виконує завдання, а невдовзі — Deep Research, що проводить багатоетапні дослідження і пише підкріплені джерелами звіти. Чат-бот, що видає текст, перетворився на систему, яка діє від імені користувача, — якісний зсув, на який ще в 2024 році натякав Devin. Для чесної оцінки: перші версії були повільними, схильними до помилок і часто обмеженими вузькими завданнями; системи, які у 2025 році продавали як агентів, рекламувалися куди голосніше, ніж їхня надійність виправдовувала.
DeepSeek-R1: ШІ-шок з Китаю
Наприкінці січня 2025 року ШІ-модель уперше помітно здивувала світові ринки. Китайська лабораторія DeepSeek 20 січня 2025 року оприлюднила R1 — модель міркування на рівні o1 від OpenAI, але з відкритими вагами (ліцензія MIT) і навчена за частку очікуваних витрат. Це стало можливим завдяки масштабному навчанню з підкріпленням на базовій моделі DeepSeek-V3. Коли через тиждень застосунок DeepSeek очолив американські чарти, настрій змінився: 27 січня Nvidia втратила близько 17 % своєї вартості — приблизно 600 мільярдів доларів за один день, найбільша одноденна втрата в історії американського фондового ринку, — адже інвестори засумнівалися, чи справді провідний ШІ потребує безкінечно дорогих чипів. R1 одночасно похитнув кілька усталених переконань: що лише американські гіперскейлери здатні боротися на вершині, що моделі міркування залишаються закритими і що більша обчислювальна потужність — єдиний шлях уперед. Для чесної оцінки: поширювана цифра в кілька мільйонів доларів стосується лише фінального тренувального запуску базової моделі V3 (а не самого R1 і не загальних витрат на дослідження та обладнання) — і R1 не перевершував o1 у кожній дисципліні.
Stargate: ШІ як інфраструктура державного масштабу
21 січня 2025 року штучний інтелект опинився на сцені Білого дому — як інфраструктурний проект державного масштабу. OpenAI, SoftBank, Oracle та інвестор MGX оголосили проект Stargate: до 500 мільярдів доларів за чотири роки на центри обробки даних для ШІ у США, причому 100 мільярдів мали бути задіяні негайно. Цим було оприявнено, що наступна фаза ШІ є менше алгоритмічним, а більше енергетичним і будівельним питанням: обчислювальна потужність у масштабах електростанцій та індустріальних парків. Для галузі, чиєю наскрізною темою від AlexNet є обчислювальна потужність (починаючи з CUDA 2007), це була логічна, але грандіозна наступна сходинка — і сигнал того, що ШІ стало національним, геополітичним пріоритетом. Чесна оцінка: оголошення — це не готовий центр обробки даних. Чи вдасться зібрати повні 500 мільярдів — це було суперечливим від самого початку; навіть учасники й спостерігачі публічно сумнівалися у фінансуванні.
Паризький саміт з ШІ
10 і 11 лютого 2025 року в паризькому Гран-Пале зібралися глави держав і урядів, технологічні корпорації та дослідники на саміт AI Action Summit — третю велику зустріч з питань ШІ після Блетчлі (2023) і Сеула (2024), яку спільно очолювали президент Франції Макрон і прем'єр-міністр Індії Моді. Показовою стала зміна тону: якщо перший саміт зосереджувався на безпеці ШІ, то в Парижі йшлося насамперед про можливості, інвестиції та конкурентоспроможність — віце-президент США відкрито агітував проти надмірного регулювання. Зрештою 58 держав, а також ЄС і Африканський союз підписали декларацію про інклюзивний і сталий ШІ — однак США і Велика Британія відмовилися поставити підпис. Цим самітом відкритий трансатлантичний розкол у сфері управління ШІ став очевидним. Чесна оцінка: декларація не мала обов'язкової сили, а критики назвали саміт втраченою нагодою для теми безпеки.
Фронтирні моделі 2025 року
У 2025 році здатність до міркувань, яку запустили o1 і R1, стала стандартом провідних моделей — у темпі, за яким важко було встигати. У березні Google представив Gemini 2.5 Pro, у травні Anthropic — Claude 4 (Opus 4 і Sonnet 4), у серпні OpenAI — GPT-5; між ними вийшли Claude 3.7 (перша гібридна модель, що на вибір відповідає швидко або думає довше), GPT-4.5, Llama 4 від Meta і Grok від xAI. Нове покоління поєднало дві лінії: поетапне міркування моделей-мислителів і здатність діяти самостійно (агентність). Особливо в центрі уваги опинилося автономне програмування на тривалих відрізках. Для чесної оцінки: лабораторії щотижня перевершували одна одну у рекордах на бенчмарках, і кожна претендувала на першість, — справжній прогрес, але часто вживане слово АЗІ залишалося більше маркетингом, ніж реальністю.
Аналітична машина Беббіджа: ідея комп'ютера
Історія ШІ починається не з комп'ютерів, а з їхньої ідеї. У 1830-х роках британський математик Чарльз Беббідж спроектував аналітичну машину і вперше докладно описав її у 1837 році — на папері це був перший у світі універсальний програмований обчислювач. Його проект випередив свій час на ціле століття: він уже мав арифметичний пристрій, який Беббідж називав mill, пам'ять (store), програмування через перфокарти і навіть умовні переходи — базові складові будь-якого сучасного комп'ютера. За його життя машину так і не збудували: вона виявилася надто складною для механіки XIX століття. Попри це, вона є далекою праматір'ю кожної обчислювальної машини — а отже, і апаратного забезпечення, на якому взагалі може працювати штучний інтелект. Для чесної оцінки: аналітична машина залишилася незавершеним проектом, і вона була обчислювачем, а не мислячою машиною. Вона заклала фундамент — обчислення, а не інтелект.
Ада Лавлейс: перша програма — і сміливе бачення
Чарльз Беббідж спроектував машину — але лише Ада Лавлейс збагнула, на що вона справді здатна. У 1843 році британська математик переклала статтю про аналітичну машину Беббіджа і додала власні нотатки, які значно перевершили оригінал за обсягом і глибиною. У своїй нотатці G вона описала метод, за допомогою якого машина мала обчислювати числа Бернуллі — це часто називають першою опублікованою комп'ютерною програмою. Ще далекогляднішою була її друга ідея: машина не обмежується числами, а може обробляти символи будь-якого роду і навіть складати музику. Так Лавлейс на ціле століття випередила ідею універсальної обробки даних. Для чесної оцінки: чи була вона справді першою програмісткою — питання дискусійне: сам Беббідж раніше схематично окреслював програми, а процедура для чисел Бернуллі виникла у спільному обговоренні з ним. Водночас Лавлейс вважала, що машина не здатна створити дійсно нового — заперечення, з яким Алан Тюрінг у 1950 році прямо не погодився.
Машина Тюрінга: Що взагалі означає обчислення
Перш ніж поставити питання, чи можуть машини мислити, потрібно було з'ясувати, що машина взагалі може обчислювати. На це питання відповів британський математик Алан Тюрінг у 1936 році в своїй статті «On Computable Numbers». У ній він описав напрочуд просту уявну модель — стрічку, голівку для читання-запису, кілька правил, — що пізніше отримала назву машина Тюрінга. З її допомогою Тюрінг точно визначив, що є обчислюваним, а що — ні. Його найважливіша думка: єдина універсальна машина Тюрінга може наслідувати будь-яку іншу. Це теоретична схема універсального комп'ютера — машини, що з правильною програмою може виконати все обчислюване. Тим самим Тюрінг став засновником інформатики і заклав фундамент, на якому ідея мислячих машин стала можливою. Чесна оцінка: машина Тюрінга — математична ідея, а не побудований пристрій, і йшлося про обчислюваність, а не про інтелект. Питання про те, чи можуть машини мислити, Тюрінг поставив лише у 1950 році. Назву «машина Тюрінга» запровадили інші.
Маккаллох і Піттс: Перший штучний нейрон
За тринадцять років до Дартмутської конференції, посеред війни, з'явилося справжнє свідоцтво про народження штучних нейронних мереж. Нейрофізіолог Воррен Маккаллох і самоук-логік Волтер Піттс — якому щойно виповнилося двадцять і в якого не було жодного академічного ступеня — опублікували 1943 року в Bulletin of Mathematical Biophysics статтю «A Logical Calculus of the Ideas Immanent in Nervous Activity». Їхня ідея була радикально простою: нейрон можна описати як бінарний перемикач, що спрацьовує за принципом «все або нічого», щойно сума його входів перевищує поріг. На основі чистої висловлювальної логіки вони довели, що мережі з таких елементів можуть обчислювати будь-яку логічну функцію — а мережі зі зворотними зв'язками мають навіть форму пам'яті. У заключній частині вони констатували, що їхні мережі здатні обчислювати те саме, що й машина Тюрінга. Так вони заклали першу математичну модель нейрона як логічного обчислювального елемента. Підводний камінь, що визначав наступне десятиліття: їхній нейрон не вмів навчатися.
Теорія інформації Шеннона: Народження біта
У 1948 році в Bell Labs вийшла стаття, що заклала основи цифрового світу: «A Mathematical Theory of Communication» Клода Шеннона. Шеннон показав, як виміряти інформацію математично — незалежно від її змісту. Він ввів біт як найменшу одиницю інформації і запровадив поняття ентропії: міру того, скільки невизначеності в середньому знімає повідомлення. Тим самим він заклав основи стиснення даних, безпомилкової передачі і, зрештою, кожного комп'ютера. Для ШІ це більше, ніж передісторія: поняття перехресної ентропії та дивергенції Кульбака–Лейблера, що нині слугують цільовими функціями при навчанні нейронних мереж, безпосередньо походять із теорії Шеннона. Чесна оцінка: Шеннон описував передавання повідомлень, а не мислення. Теорія інформації — математичний інструмент, на якому будується ШІ, але сама по собі вона не є штучним інтелектом.
Правило Хебба: як виникає навчання в мозку
У 1949 році канадський психолог Дональд Хебб опублікував книгу The Organization of Behavior і представив просту, але вагому ідею: якщо два пов'язаних нейрони регулярно збуджуються одночасно, зв'язок між ними зміцнюється. Тим самим Хебб уперше запропонував конкретний механізм того, як навчання може відбуватися на рівні окремих синапсів. Для ШІ це стало основним принципом: навчання означає коригування сили зв'язків — саме це й роблять штучні нейронні мережі, наприклад пізніші мережі Гопфілда. Для чесної оцінки: відомий вислів про те, що нейрони, які збуджуються разом, з'єднуються разом, — насправді не Хебба, а приписується нейронауковцю Карлі Шатц (1992). І правила Хебба самого по собі ще недостатньо для сучасного глибинного навчання, адже в ньому бракує цілеспрямованої корекції помилок.
Тест Тюрінга: гра в імітацію
Філософська основа машинного інтелекту та перший еталон штучного інтелекту. У 1950 році Alan Turing опублікував у журналі Mind статтю 'Computing Machinery and Intelligence' і переосмислив запитання 'Чи можуть машини думати?'. Замість філософських визначень Turing запропонував практичну 'гру в імітацію': людина-оцінювач аналізує текстові записи розмов між людиною та машиною. Оцінювач намагається визначити машину — машина проходить тест, якщо оцінювач не може надійно її розрізнити. Вирішальним є не правильність відповідей, а те, наскільки вони схожі на людські. Цей тест нерозрізненості можна узагальнити на всі людські досягнення — як вербальні, так і невербальні (робототехніка). Поведінковий підхід Turing заклав концептуальний фундамент для всіх досліджень у галузі штучного інтелекту та вплинув на ELIZA, ChatGPT і всі сучасні системи розмовного штучного інтелекту.
Logic Theorist: Перша програма-мислитель
Того самого літа, коли в Дартмуті виник термін «штучний інтелект», Аллен Ньюелл, Герберт Саймон і часто забутий програміст Кліфф Шоу продемонстрували те, що прийнято називати «першою програмою ШІ» — але з одним застереженням. Їхній Logic Theorist доводив математичні теореми: він звертався до висловлювальної логіки з «Principia Mathematica» Вайтгеда і Рассела та самостійно знаходив докази для 38 із перших 52 теорем. Вражав сам підхід: замість перебору всіх варіантів програма шукала евристично — оцінювала, які кроки варті уваги, і рухалась від мети назад. Для однієї теореми вона знайшла навіть коротший доказ, ніж оригінальний; за переказами, Рассел зрадів, тоді як науковий журнал відхилив надісланий доказ. Написано все це було мовою IPL — списковою мовою, яка передбачила LISP Маккарті. Обмеження: ігрові програми, як-от дашки Самюела, з'явилися раніше — Logic Theorist був першим, що навмисно намагався відтворити людське мислення на відкритому розумовому завданні.
Дартмутська конференція: день народження ШІ
Той історичний момент, коли штучний інтелект народився як наукова галузь. З 18 червня по 17 серпня 1956 року в Дартмутському коледжі відбулася перша AI Summer Research Conference. Джон Маккарті, Марвін Мінський, Натаніел Рочестер і Клод Шеннон мали сміливе бачення: 'Кожен аспект навчання або будь-яка інша ознака інтелекту можуть бути описані настільки точно, що машина зможе їх змоделювати.' Під час цього восьмитижневого семінару Маккарті запровадив термін 'Artificial Intelligence' і тим самим заклав фундамент нової наукової дисципліни. Деякі учасники приїжджали лише на кілька тижнів, інші залишалися весь час: Герберт Саймон і Аллен Ньюелл, наприклад, продемонстрували в перші тижні свій Logic Theorist, тоді як Рей Соломонофф був присутній усі вісім тижнів — дискусії велися на верхньому поверсі математичного факультету. З цієї конференції виросли три історичні центри ШІ: Університет Карнегі — Меллон з Ньюеллом і Саймоном, MIT із Мінськом і Стенфорд із Маккарті.
Персептрон: перша навчальна нейронна мережа
Народження машинного навчання через перший нейрон штучного інтелекту, здатний навчатися. 1957 року Френк Розенблатт у Cornell Aeronautical Laboratory розробив персептрон — першу нейронну мережу, яка могла навчатися на досвіді. У січні 1957 року він опублікував технічний звіт 'The Perceptron: A Perceiving and Recognizing Automaton' (Project PARA, Report 85-460-1). Офіційна наукова публікація вийшла у листопаді 1958 року в журналі Psychological Review. Натхненний біологічними нейронами персептрон поєднував зважені входи через функцію Хевісайда у бінарні виходи. Інноваційне правило навчання персептрона коригувало ваги щоразу, коли приклад класифікувався неправильно, — ранній попередник навчання в сучасних нейронних мережах (його не слід плутати з пізнішим дельта-правилом Відроу і Гоффа, 1960). Спочатку змодельований на IBM 704 і публічно оголошений 1958 року, апаратний пристрій Mark I Perceptron було завершено лише близько 1960 року. Незважаючи на обмеженість лінійно роздільними задачами, персептрон заклав концептуальний фундамент для всіх наступних нейронних архітектур.
LISP: мова ШІ
У 1958 році Джон Маккарті в MIT розробив мову програмування, що поставила символічні обчислення в центр: LISP — скорочення від List Processing. Замість обробки переважно чисел LISP маніпулював списками символів — саме те, що потребував символічний ШІ. Протягом десятиліть LISP залишався мовою досліджень у галузі ШІ: в ньому створювали експертні системи, системи обробки мови і планувальні системи. Мова Маккарті також запровадила ідеї, які сьогодні стали самоочевидними: рекурсія, автоматичне збирання сміття (Garbage Collection), функції як дані та інтерактивне обчислення. Стів Рассел реалізував теоретичний механізм eval Маккарті як перший інтерпретатор — і тим самим зробив LISP придатним до виконання. Для чесної оцінки: LISP не був першою мовою програмування вищого рівня (Fortran з'явився у 1957 році), але він є другою найстарішою використовуваною досі — і для ШІ найвпливовішою.
Артур Самюел: Самонавчальний ШІ і термін «машинне навчання»
За кілька років до Дартмутської конференції Артур Самюел з IBM навчив машину грати в шашки — і водночас вчитися. Його програма запрацювала у 1952 році на IBM 701; вирішальним, проте, стало те, що було написано в його статті 1959 року «Some Studies in Machine Learning Using the Game of Checkers». Програма вдосконалювалася сама: вона зіграла десятки тисяч партій проти себе і коригувала ваги своєї функції оцінювання залежно від результатів. У назві цієї статті термін «Machine Learning» (машинне навчання) зафіксований вперше в його сучасному значенні — Самюел вважається його автором. Річард Саттон пізніше відзначив самогру Самюела як найперше застосування навчання з тимчасовою різницею (Temporal-Difference Learning), що лежить в основі сучасного навчання з підкріпленням. Телевізійна демонстрація 1956 року і широко цитована перемога над нібито гросмейстером зробили заголовки — однак обидва факти були сильно перебільшені: проти справді сильних гравців програма програвала впевнено, а повністю шашки були вирішені лише десятиліттями пізніше.
DENDRAL: піонер експертних систем
У середині 1960-х ШІ зробив вирішальний поворот. В Стенфордському університеті Едвард Фейгенбаум і генетик та лауреат Нобелівської премії Джошуа Ледерберг розпочали роботу над DENDRAL — програмою, яку часто вважають першою експертною системою і яка, безперечно, була першою, що застосувала ШІ до наукових міркувань. На відміну від попередніх систем, що проводили загальний пошук, DENDRAL використовував знання хіміків-фахівців: із даних мас-спектрометра він виводив структуру органічних молекул. Урок, здобутий з цього досвіду, визначив ціле десятиліття ШІ: знання — сила. Перемагає не найрозумніший загальний алгоритм, а той, хто має найбільше фахових знань. Таким чином DENDRAL проклав шлях до буму експертних систем у 1980-х роках. Для чесної оцінки: DENDRAL сам по собі був успішним дослідницьким проектом, що тривав роками, — не єдиним продуктом. Але його метод — ручного введення всіх знань — згодом став ахіллесовою п'ятою: він зробив комерційні експертні системи 1980-х крихкими і дорогими, що сприяло настанню ШІ-зими.
Нечітка логіка: логіка невизначеності
Важливий математичний прорив у роботі з невизначеністю та апроксимаційними міркуваннями. 1965 року Лотфі Заде опублікував в Університеті Каліфорнії у Берклі (UC Berkeley) основоположну статтю 'Fuzzy Sets' — відповідь на нездатність класичної логіки працювати з розмитою та неповною інформацією. Його інновація полягала у розумінні того, що люди приймають рішення на основі неточної, нечислової інформації. Нечітка логіка (Fuzzy Logic) дозволяє ступені належності між 0 і 1 на противагу двійковій логіці 'так/ні'. Набравши нині понад 100 000 цитувань, праця Заде стала основою для м'яких обчислень і сучасних підходів у ШІ. 'Точна логіка неточного' дала змогу математично моделювати невизначеність, неповноту та суперечливу інформацію. Нечітка логіка знайшла застосування в експертних системах, системах керування, а пізніше і в сучасних архітектурах ШІ для нечітких процесів прийняття рішень.
ELIZA: перший чат-бот
Народження діалогу людини з машиною та ненавмисний експеримент із людської психології. Приблизно з 1964 по 1966 рік Джозеф Вейзенбаум у MIT розробив ELIZA — першу програму, спеціально створену для розмов із людьми. Із напрочуд лаконічним кодом і простою технологією зіставлення зразків (pattern matching) ELIZA імітувала діалоги, особливо у варіанті DOCTOR як рогеріанський терапевт. Дивовижа полягала не в технології, а в людській реакції: користувачі, зокрема власна секретарка Вейзенбаума, розвивали емоційні прив'язаності до програми і навіть вимагали приватності для своїх 'сеансів терапії'. Вейзенбаум рано описав і розкритикував це явище — схильність приписувати людські якості примітивним програмам. Сам термін 'ефект ELIZA' був введений і популяризований пізніше, вже у 1990-х роках. ELIZA довела силу простої ілюзії і заклала основу для всіх сучасних чат-ботів.
«Перцептрони»: Книжка, що спричинила зиму ШІ
У 1969 році дослідники МТІ Марвін Мінскі та Сеймур Папперт опублікували книжку «Перцептрони». Із математичною строгістю вони показали, що може і чого не може одношаровий перцептрон — найпростіша форма нейронної мережі. Їхній найвідоміший результат: така мережа не може навіть навчитися простій функції XOR, оскільки її не можна розділити однією прямою. Вплив був величезним: довіра до нейронних мереж підупала, фінансування зникло більш ніж на десятиліття — суттєвий внесок у першу зиму ШІ. Чесна оцінка: Мінскі і Папперт аж ніяк не спростували нейронні мережі в цілому. Вони аналізували лише одношаровий варіант; багатошарові мережі вирішують XOR без жодних проблем — що пізніше, починаючи з 1986 року, стало практично можливим завдяки методу зворотного поширення помилки. Оповідь про те, що книжка самотужки знищила дослідження, — це почасти міф. Але зниження фінансування і уваги було цілком реальним.
Шейкі: перший інтелектуальний мобільний робот
Народження автономної робототехніки через інтеграцію міркування, планування і фізичної дії. З 1966 по 1972 рік команда Чарльза Розена в SRI International розробляла Шейкі — першого мобільного робота, здатного розмірковувати над власними діями. Двометровий робот поєднував телекамеру, сонарний далекомір, процесори і 'котячі вуса' як датчики зіткнення в єдину автономну систему. Визначні можливості Шейкі охоплювали сприйняття навколишнього середовища, висновки з неявних фактів, складання планів і компенсацію помилок — усе це керувалося природною англійською мовою. Фінансований ARPA (нині DARPA) проект вперше поєднав логічне міркування з фізичною дією і заклав основи для автономних систем. Інновації Шейкі сприяли розробці алгоритму пошуку A*, методів графа видимості та впливового комп'ютерного варіанту перетворення Хафа (Duda & Hart, SRI 1972). 1970 року журнал Life Magazine назвав Шейкі 'першою електронною особою'.
SHRDLU: Розуміння мови у світі кубиків
Близько 1970 року Террі Вінограде в МТІ створив програму, що вразила фахівців: SHRDLU. Їй можна було давати вказівки простою англійською мовою — наприклад, поставити червоний куб на зелений блок — і вона виконувала їх у віртуальному світі з різнокольорових кубиків. SHRDLU розуміла більше, ніж просто команди: вона вирішувала неоднозначні речення, пам'ятала сказане, відповідала на запитання про свій світ і навіть могла пояснити, чому вона щось зробила. Для багатьох це був вражаючий апогей символічного ШІ — доказ того, що машини можуть надзвичайно добре розуміти мову. Чесна оцінка: розуміння SHRDLU працювало лише у її крихітному, замкненому світі кубиків. На реальний, неохопний світ з його нескінченними повсякденними знаннями перенести його не вдалося. Тож SHRDLU з часом стала повчальним прикладом обмежень таких мікросвітів — сам Вінограде згодом відійшов від цього підходу.
Приховані марківські моделі встановлено
Математична основа для розпізнавання мовлення та моделювання послідовностей. З кінця 1960-х до 1970 року Леонард Баум, Ллойд Велч і Тед Петрі в Institute for Defense Analyses розробили приховані марківські моделі (Hidden Markov Models) та встановили алгоритм Баума-Велча. Ці статистичні моделі моделювали приховані стани в послідовностях і запропонували один із перших практичних підходів до виявлення латентних станів у часозалежних даних. З середини 1970-х HMM знайшли своє перше практичне застосування у розпізнаванні мовлення — завдяки Джеймсу Бейкеру в Carnegie Mellon, а пізніше в IBM. Метод трансформував автоматичне розпізнавання мовлення від простого зіставлення шаблонів до статистичних підходів. HMM стали стандартом для моделювання послідовностей у багатьох галузях: від біоінформатики через фінансовий аналіз до розпізнавання жестів. Алгоритм Баума-Велча, пізніше визнаний окремим випадком алгоритму Expectation-Maximization, загально сформульованого у 1977 році, заклав фундамент для сучасних імовірнісних методів машинного навчання.
Пролог: Програмування за допомогою логіки
У 1972 році в Марсельському університеті виникла мова програмування, що мислила зовсім інакше, ніж всі інші: Пролог — скорочення від Programmation en Logique. Її творці Ален Колмероє і Філіп Руссель — спираючись на теорію Роберта Ковальскі — переслідували бездоганну ідею. Замість того щоб крок за кроком вказувати комп'ютеру, як щось зробити, у Пролозі описують лише факти й правила певного світу. Логічні висновки система виводить сама. Пролог став найважливішою мовою символічного ШІ: в експертних системах, в обробці мови і як серце амбіційного японського проекту п'ятого покоління. Чесна оцінка: логічне програмування так і не стало домінуючою парадигмою ШІ. Великий японський проект, що цілком спирався на Пролог, помітно не виправдав своїх обіцянок. І прорив завдячує не менше теорії Роберта Ковальскі, ніж самій мові.
Перша зима ШІ
Час різкого скорочення дослідницького фінансування та занепаду довіри до штучного інтелекту. Після перебільшених обіцянок 1960-х років настала гірка реальність: програми ШІ могли вирішувати лише тривіальні версії тих проблем, які мали вирішувати насправді. У Великій Британії доповідь Лайтхілла 1973 року містила нищівну критику, після чого Рада з наукових досліджень скоротила фінансування некерованих досліджень ШІ. У США DARPA — під впливом поправки Менсфілда — відмовилася від нецільових досліджень на кілька років; різке скорочення фінансування розуміння мовлення у 1974/75 роках вдарило по проекту в Університеті Карнегі-Меллон і призвело до розірвання контракту на 3 мільйони доларів. Ця зима тривала приблизно до 1980 року і навчила спільноту ШІ важливого уроку: реалістичні очікування — ключ до сталого прогресу.
Неокогнітрон: Прабатько згорткових нейронних мереж
У 1980 році японський дослідник Куніхіко Фукусіма представив нейронну мережу, що набагато випередила свій час: неокогнітрон. Його взірцем була природа — точніше зорова кора головного мозку, яку лауреати Нобелівської премії Хьюбел і Візел досліджували на кішках. Там прості та складні клітини поетапно обробляють зорові подразники. Фукусіма відтворив цей принцип: багатошарова мережа, яка розпізнає ознаки пошарово — незалежно від того, де вони знаходяться у зображенні. Таким чином неокогнітрон передбачив ключові ідеї сучасних згорткових нейронних мереж (CNN), що панують у розпізнаванні зображень із 2012 року. Чесна оцінка: неокогнітрон ще не використовував зворотне поширення помилки і не міг навчатися так, як сучасні CNN. Лише зворотне поширення помилки (1986) і LeNet Яна ЛеКуна (1989) перетворили цю архітектуру на практично навчану мережу. Піонерська роль Фукусіми досі часто недооцінюється.
Епоха експертних систем 1980-х
1980-ті роки позначають розквіт експертних систем, коли ШІ вперше здобуває комерційний успіх. Компанії по всьому світу впроваджують ці засновані на правилах програми ШІ, що відтворюють знання людських експертів у спеціалізованих галузях. Індустрія ШІ зростає з кількох мільйонів доларів у 1980 році до мільярдів у 1988 році. Дві третини компаній зі списку Fortune 500 використовують цю технологію. Системи на кшталт MYCIN досягають у дослідженнях рівня прийнятності своїх терапевтичних рекомендацій близько 65% — нарівні з університетськими експертами, хоча MYCIN так і не застосовується у клінічній практиці. Проте бум закінчується за класичною схемою економічної бульбашки, коли десятки компаній зазнають краху і межі технології стають очевидними.
Мережі Хопфілда: Асоціативна памʼять
Відродження нейронних мереж через можливості асоціативного зберігання. У 1982 році Джон Хопфілд опублікував революційну статтю «Neural networks and physical systems with emergent collective computational abilities» у PNAS. Його інновація полягала у поєднанні нейробіології та статистичної фізики: мережі Хопфілда функціонують як памʼять з адресацією за вмістом, яка реконструює повні патерни з неповних або зашумлених вхідних даних. Рекурентна архітектура з симетричними двонаправленими зʼєднаннями сходиться до атракторів фіксованої точки через функцію енергії Ляпунова. Система «котиться вниз» до найближчого збереженого спогаду. Робота Хопфілда знову розпалила інтерес до нейронних мереж та заклала теоретичний фундамент для сучасних RNN. Правило навчання Хебба уможливило асоціативне зберігання патернів — прорив для розуміння біологічних та штучних систем памʼяті.
Алгоритм зворотного поширення помилки
Народження сучасного машинного навчання через елегантний алгоритм навчання. У жовтні 1986 року Девід Румельхарт, Джеффрі Гінтон та Рональд Вільямс опублікували в Nature статтю 'Learning representations by back-propagating errors'. Цей алгоритм суттєво змінив навчання нейронних мереж, надавши ефективний метод налаштування ваг у багатошарових мережах. Метод багаторазово коригує ваги з'єднань, щоб мінімізувати різницю між фактичним та бажаним результатом. Ключова інновація полягала у здатності навчати приховані шари, які автоматично розпізнають важливі ознаки задачі. Математичні основи були закладені раніше — зокрема Полом Вербосом (1974) та Сеппо Ліннайнмаа (1970) — проте саме ця стаття широко популяризувала зворотне поширення помилки та переконливо продемонструвала його ефективність. Зворотне поширення помилки стало робочим конем машинного навчання та уможливлює всі сучасні застосування глибинного навчання.
Друга зима ШІ
Крах ринку спеціалізованого апаратного забезпечення ШІ та провал експертних систем. У 1987 році ринок Lisp-машин обвалився, коли комп'ютери Apple та IBM стали дешевшими й потужнішими за дорогі системи, спеціалізовані для ШІ. Експертні системи на кшталт XCON виявилися надто трудомісткими у супроводі та занадто негнучкими для реальних застосувань. Джек Шварц, новий керівник IPTO, назвав експертні системи 'вправним програмуванням' і 'глибоко і жорстоко' скоротив фінансування ШІ. Занепад виробників Lisp-машин розтягнувся на кілька наступних років — лідер ринку Symbolics оголосив про банкрутство лише у 1993 році, — що призвело до більш тривалої та глибокої зими, ніж перша 1974 року. Ця зима тривала приблизно до 1993 року і поклала кінець комерційному ажіотажу навколо експертних систем і спеціалізованого апаратного забезпечення ШІ — проте символічний ШІ як науковий напрям залишився.
UCI ML Repository: бібліотека наборів даних
Демократизація досліджень у машинному навчанні через стандартизовані еталонні набори даних. У 1987 році аспірант UCI David Aha разом з однокурсниками заснував UCI Machine Learning Repository як FTP-архів — колекцію баз даних, теорій предметних областей і генераторів даних для емпіричного аналізу ML-алгоритмів. Ця ініціатива усунула критичний брак стандартизованих загальнодоступних наборів даних для зростаючої ML-спільноти. Репозиторій став основним джерелом наборів даних для машинного навчання у всьому світі та надав студентам, викладачам і дослідникам доступ до якісних еталонних наборів. Протягом років він цитувався десятки тисяч разів і тим самим увійшов до числа найбільш використовуваних ресурсів всієї інформатики. Сьогодні під управлінням Center for Machine Learning and Intelligent Systems UCI ML Repository пропонує набори даних з охорони здоров'я, фінансів та незліченної кількості інших галузей. Репозиторій фундаментально демократизував освіту та дослідження у сфері машинного навчання.
Байєсові мережі: міркування в умовах невизначеності
Поки нейронні мережі та експертні системи змагалися за увагу, Джуда Перл в UCLA будував третю велику опору ШІ: міркування в умовах невизначеності. У своїй книзі Probabilistic Reasoning in Intelligent Systems (1988) він популяризував байєсові мережі — графи, у яких вузли є змінними, а ребра — їхніми ймовірнісними залежностями. Замість жорстких правил якщо-то і ситуативних коефіцієнтів впевненості експертних систем вони дозволяли чисто поєднувати знання і невизначеність та ефективно робити висновки. Байєсові мережі визначали ШІ та машинне навчання 1990-х і 2000-х; у 2011 році Перл отримав премію Тюрінга і згодом звернувся до каузальних висновків — до питання чому за даними. Для чесної оцінки: сама теорема Баєса походить із XVIII століття; здобуток Перла полягав не у винайденні ймовірності, а в тому, що він зробив ймовірнісні міркування структурованими та обчислюваними для ШІ.
Теорема про універсальну апроксимацію
Математичний доказ теоретичної потужності нейронних мереж. У 1989 році Kurt Hornik, Maxwell Stinchcombe та Halbert White опублікували фундаментальну статтю 'Multilayer feedforward networks are universal approximators' у журналі Neural Networks. Їхній строгий доказ показав: навіть один прихований шар з достатньою кількістю нейронів може апроксимувати будь-яку вимірювану за Борелем функцію з довільною точністю. Ця теоретична основа математично обґрунтувала застосування нейронних мереж і запевнила дослідників, що достатньо великі мережі здатні моделювати складні нелінійні залежності реальних даних. Паралельно з'явилися схожі праці George Cybenko та Funahashi з різними техніками. Теорема встановила універсальність шляхом розширення прихованого шару і стала теоретичним стовпом для всіх наступних розробок глибинного навчання. Hornik та ін. створили математичну довіру, яка уможливила відродження нейронних мереж у 1990-х роках.
World Wide Web: винахід WWW
Винахід, який пов'язав світ і заклав основу для сучасних джерел даних ШІ. 12 березня 1989 року Тім Бернерс-Лі подав до CERN свою пропозицію щодо 'системи управління інформацією' — спочатку названої 'Mesh', а згодом 'World Wide Web'. Як британський учений він усвідомив необхідність автоматизованого обміну інформацією між науковцями по всьому світу. До кінця 1990 року він розробив три фундаментальні веб-технології: HTML (HyperText Markup Language), HTTP (HyperText Transfer Protocol) та URI/URL. Перший веб-сервер info.cern.ch працював на комп'ютері NeXT, разом із першим браузером/редактором 'WorldWideWeb.app'. У 1991 році Мережа стала загальнодоступною. Експоненційне зростання з приблизно 10 сайтів (1992) до кількох сотень тисяч (1996) створило основу даних для пізніших систем ШІ. Без Мережі не було б наборів даних Common Crawl і великих мовних моделей.
LeNet та народження згорткових нейронних мереж
Перше успішне практичне застосування згорткових нейронних мереж. У 1989 році Янн ЛеКун в AT&T Bell Labs вперше поєднав зворотне поширення помилки (Backpropagation) з архітектурою CNN для розпізнавання рукописного тексту. Ця система — пізніше відома як прародителька родини LeNet — розпізнавала рукописні поштові індекси для Поштової служби США із помітною точністю: близько 1% помилок на навчальних даних і приблизно 5% на раніше невидимих тестових даних; якщо мережі дозволяли відхиляти невпевнені випадки, кількість помилок на цифрах, що залишилися, знижувалася приблизно до 1%. Ця продуктивність довела практичну перевагу CNN над традиційними підходами й заклала підґрунтя для сучасного комп'ютерного зору. Вона продемонструвала, що нейронні мережі — не лише теоретичні конструкції, а й здатні розв'язувати реальні бізнес-задачі. Архітектура пройшла кілька ітерацій удосконалення й у 1998 році переросла в LeNet-5 із точністю 99,05% на MNIST. Ця робота заклала фундамент для всіх сучасних CNN-архітектур.
TD-Gammon: Навчання через гру проти себе
Задовго до AlphaGo програма в IBM показала, на що здатне навчання з підкріпленням: у 1992 році Джеральд Тезауро представив TD-Gammon — нейронну мережу, що навчилася грати в нарди. Вражав метод навчання. TD-Gammon тренувався майже виключно, граючи сотні тисяч партій проти себе і навчаючись на їхніх результатах — методом Temporal Difference, що поступово коригує прогнози. Ніхто не мусив показувати йому гарні ходи. Мережа досягла приблизно рівня світового класу і навіть відкрила дебютні ходи, які потім перейняли самі людські профі. Чесна оцінка: яким би вражаючим не був успіх, довгий час його не вдавалося перенести на інші ігри. Одна з причин — кубик: нарди є грою з елементом випадку, і випадковість сама по собі забезпечує різноманітність під час тренування — перевага для самогри, якої немає у детерміністичних іграх, як-от шахи чи го.
Q-навчання: фундамент навчання з підкріпленням
1992 року Кріс Воткінс і Пітер Дайан опублікували математичний доказ збіжності Q-навчання — алгоритму, якому судилося суттєво змінити світ ШІ. Основну ідею Воткінс розробив ще 1989 року у своїй докторській дисертації 'Learning from Delayed Rewards' в King's College Cambridge. Q-навчання вирішувало фундаментальну проблему: як агент може діяти оптимально, не маючи моделі свого середовища? Відповідь виявилася елегантною — через покрокову оптимізацію Q-функції, яка присвоює значення кожній парі стан-дія. Доказ збіжності 1992 року показав: за нескінченної дослідницької активності Q-навчання гарантовано знаходить оптимальну стратегію для будь-якої скінченної задачі Маркова з прийняттям рішень. Цей безмодельний метод став наріжним каменем сучасного навчання з підкріпленням. Від робототехніки до фінансових ринків, від ігор до автономних систем — Q-навчання застосовується всюди. Наприкінці 2013 року DeepMind представив глибоку версію — Deep Q-Networks (DQN) (публікація в Nature у 2015 році) — і досяг людського або надлюдського рівня на більшості ігор Atari. Донині Q-навчання — передусім у формі Deep Q-Network — є ключовим компонентом незліченних систем ШІ.
Penn Treebank: синтаксична анотація змінює NLP
Створення фундаментального корпусу для сучасних досліджень синтаксичного розбору. 1993 року Мітчелл Маркус, Беатріс Санторіні та Мері Енн Марцінкевич опублікували основоположну статтю 'Building a Large Annotated Corpus of English: The Penn Treebank' у журналі Computational Linguistics. Більш ніж 4,5 мільйона слів американської англійської мови було розмічено частинами мови, а близько 3 мільйонів з них — детальною синтаксичною (скелетно розібраною) анотацією, що суттєво змінило комп'ютерну лінгвістику. Двоетапна процедура поєднувала автоматичне POS-теґування з ручним коригуванням для досягнення виняткової якості анотації. За весь час реалізації проекту — близько семи років (1989–1996) — та в розширеному Penn Treebank II загалом було створено 7 мільйонів слів з POS-теґами, 3 мільйони текстів з скелетним розбором і 2 мільйони структур предикат-аргумент. Penn Treebank утвердив емпіричні методи в комп'ютерній лінгвістиці і став основою для сучасних алгоритмів синтаксичного розбору. Донині Penn Treebank слугує сучасним NLP-системам важливим еталонним тестом для оцінки синтаксичного розбору та мовного моделювання.
AdaBoost: слабкі учні стають сильними
1995 року Йоав Фройнд і Роберт Шапіре розробили AdaBoost (Adaptive Boosting) — алгоритм, що суттєво змінив машинне навчання. Їхня ключова ідея: комбінувати безліч 'слабких учнів' у високоточну прогнозну модель. Слабкий учень лише незначно перевершує випадкове вгадування — але сотні таких учнів разом можуть досягати вражаючих результатів. AdaBoost адаптується: хибні прогнози отримують більшу вагу під час наступного проходу. Так система автоматично зосереджується на складних випадках. Теоретична елегантність переконала всіх — Фройнд і Шапіре довели, що похибка навчання спадає експоненційно швидко за умови, що кожен слабкий учень перевершує випадковість. У 2003 році вони отримали за обґрунтування теорії бустингу премію Геделя — одну з найпрестижніших нагород у теоретичній інформатиці. AdaBoost знайшов практичне застосування в біології, комп'ютерному зорі та розпізнаванні мовлення. Цей метод заклав фундамент для сучасних ансамблевих методів і надихнув ціле покоління бустинг-алгоритмів аж до XGBoost.
Метод опорних векторів: класифікація з максимальним зазором
Встановлення елегантних геометричних підходів для надійної класифікації. У 1995 році Corinna Cortes та Vladimir Vapnik з AT&T Bell Labs опублікували фундаментальну статтю 'Support-Vector Networks' у журналі Machine Learning. Метод опорних векторів (SVM) розширив ранній підхід Vapnik та Chervonenkis до максимального зазору 1964 року ('Generalized Portrait') до практичного розв'язання для нероздільних навчальних даних завдяки інновації 'Soft Margin'. Основний принцип полягає у побудові лінійних роздільних поверхонь у дуже високовимірних просторах ознак через нелінійні перетворення вхідних даних. Ядровий трюк (Kernel Trick) 1992 року уможливив ефективне обчислення без явного перетворення. Метод опорних векторів максимізує зазор між класами і тим самим забезпечує високу здатність до узагальнення. Зі десятками тисяч цитувань стаття стала однією з найбільш цитованих праць у машинному навчанні та домінувала у задачах класифікації аж до революції глибинного навчання. Метод опорних векторів залишався надійним, інтерпретованим та ефективним для високовимірних задач.
WordNet: семантична мережа мови
Перший лексичний словник, побудований як семантична мережа для комп'ютерної лінгвістики. У листопаді 1995 року Джордж Міллер опублікував основоположну статтю 'WordNet: A Lexical Database for English' у журналі Communications of the ACM, представивши свою концепцію, розроблювану з 1986 року. WordNet організовує англійські іменники, дієслова, прикметники та прислівники в синсети — когнітивні групи синонімів, пов'язані семантичними та лексичними відношеннями. Ця структура відображає семантичну пам'ять людини та забезпечує навігацію крізь мережі слів і понять, насичені значенням. Машинозчитувані словники існували й раніше, але WordNet був першим, що послідовно моделював лексику як мережу синсетів і семантичних відношень, поєднавши традиційну лексикографічну інформацію із сучасною обробкою даних. Розпочавши розробку у 1986 році, Міллер та його команда в Прінстоні перетворили WordNet на основу для ієрархій ImageNet і сучасних систем обробки природної мови. Структура семантичної мережі вплинула на всі наступні графи знань і техніки ембедингу.
PageRank: алгоритм Google вартістю в мільярди доларів
1996 року два аспіранти Стенфорду розробили алгоритм, який мав суттєво змінити Інтернет. Ларрі Пейдж і Сергій Брін розпочали проект 'BackRub' з новаторською ідеєю: важливість вебсторінки визначається не лише вмістом, а й посиланнями, що ведуть на неї. Як і в науковому цитуванні: що частіше на сторінку посилаються, то важливіша вона. Алгоритм PageRank моделює 'випадкового серфера', який довільно клікає по Мережі. Що частіше випадковий серфер потрапляє на сторінку через структуру посилань, то вищим є її рейтинг. Вебкраулер Пейджа стартував у березні 1996 року з його власної сторінки в Стенфорді. Офіційна публікація статті про PageRank відбулася у січні 1998 року як Stanford Technical Report. До серпня 1996 року BackRub виявив близько 75 мільйонів URL-адрес — тобто адрес, знайдених через посилання, з яких лише частину було фактично проіндексовано. Навіть ранній стенфордський прототип видавав більш релевантні результати, ніж тогочасні пошукові сервіси — Excite чи Yahoo!. Стенфорд отримав патент і 2005 року продав свої 1,8 мільйона акцій Google за 336 мільйонів доларів. З університетського проекту виросла одна з найуспішніших пошукових систем — і фундамент сучасного веб-ШІ.
Deep Blue перемагає Каспарова
Перша перемога машини над чинним чемпіоном світу з шахів в умовах турніру. 11 травня 1997 року Deep Blue вписав своє ім'я в історію, коли суперкомп'ютер IBM переміг Гаррі Каспарова в матчі-реванші в Нью-Йорку з рахунком 3,5:2,5. Після поразки 1996 року IBM докорінно переробив систему: нові шахові чіпи подвоїли швидкість до 200 мільйонів позицій за секунду, покращені бази даних ендшпілів і консультації гросмейстерів підвищили силу гри. Вирішальна шоста партія тривала лише одну годину — після жертви конем Каспаров швидко потрапив в об'єктивно програшну позицію й здався вже на 19-му ході, що стало безпрецедентним моментом у його кар'єрі. Перемога вперше продемонструвала перевагу комп'ютерів у складному стратегічному мисленні й стала переломним моментом у суспільному сприйнятті ШІ. Призовий фонд у 700 000 доларів для Deep Blue підкреслив історичне значення цього тріумфу машинного інтелекту.
LSTM: Long Short-Term Memory
Вирішення проблеми зникаючого градієнта та народження ефективного моделювання послідовностей. 15 листопада 1997 року Сепп Хохрайтер та Юрген Шмідхубер опублікували революційну статтю «Long Short-Term Memory» у Neural Computation. Їхня інновація вирішила фундаментальну проблему рекурентних мереж: зникнення градієнтів на довгих послідовностях. LSTM запровадив спеціальні комірки памʼяті з механізмами вентилів, які забезпечують постійний потік помилки через тисячі часових кроків. Мультиплікативні вентилі навчаються відкривати та закривати доступ до постійної каруселі помилки. З O(1)-складністю на часовий крок та локальним навчанням LSTM значно перевершив усі тодішні методи RNN. Система вперше вирішила складні проблеми з довгими часовими затримками, які раніше були нерозвʼязними. LSTM став основою для сучасного розпізнавання мовлення, перекладу та аналізу часових рядів.
MNIST: стандарт машинного навчання
Створення одного з найважливіших еталонних наборів даних для початківців у комп'ютерному зорі. У 1998 році Ян Лекун, Коріна Кортес і Крістофер Бьорджес представили набір даних MNIST — куровану колекцію рукописних цифр, яка стала 'Hello World' машинного навчання. Базуючись на Special Database 3 та Special Database 1 від NIST, MNIST містить 70 000 нормалізованих зображень розміром 28x28 пікселів у відтінках сірого: 60 000 для навчання та 10 000 для тестування. Ретельна попередня обробка та антиаліасінг зробили MNIST ідеальним для навчальних цілей без трудомісткої підготовки даних. MNIST з'явився у статті 'Gradient-based learning applied to document recognition' (Proceedings of the IEEE, листопад 1998). Набір даних став стандартним еталоном для незліченних алгоритмів машинного навчання і дозволив цілим поколінням студентів отримати перший досвід у комп'ютерному зорі. MNIST демократизував освіту з машинного навчання у всьому світі.
Випадковий ліс: прорив методів ансамблювання
2001 року Лео Брейман з UC Berkeley опублікував одну з найцитованіших статей з машинного навчання за всі часи: 'Random Forests'. Його алгоритм суттєво розвинув концепцію методів ансамблювання і став одним з найважливіших інструментів сучасної статистики. Основна ідея була геніально простою: замість одного дерева рішень навчають сотні випадкових дерев і дають їм голосувати. Кожне дерево бачить лише випадкову підмножину даних і ознак — 'бегінг' у поєднанні з рандомізацією ознак. Результат: різко знижена проблема перенавчання та виняткова точність прогнозів. Брейман також забезпечив теоретичне підґрунтя з межами помилки узагальнення на основі сили дерев і кореляції. Випадковий ліс став одним з найпростіших у обслуговуванні алгоритмів машинного навчання типу 'plug-and-play' — мінімальне налаштування, максимальна продуктивність. Від біоінформатики до аналізу фінансових ринків Випадковий ліс і сьогодні домінує в незліченних застосуваннях та зробив методи ансамблювання стандартним інструментом — паралельно з напрямом бустингу, з якого згодом виник XGBoost.
Заснування Future of Humanity Institute
Інституціоналізація досліджень безпеки ШІ та оцінки екзистенційних ризиків. 2005 року Нік Бостром заснував при Оксфордському університеті Future of Humanity Institute як мультидисциплінарну дослідницьку групу. Починаючи лише з трьох дослідників, FHI перетворився на інтелектуальний центр тяжіння для блискучих, нерідко нестандартних мислителів і виріс приблизно до 40 співробітників. Інститут заснував нові дослідницькі напрямки: екзистенційні ризики, узгодженість ШІ (AI Alignment), врядування у сфері ШІ (AI Governance) та довгостроковізм (Longtermism). Ранні публікації Бострома, зокрема 'The fable of the dragon tyrant' (2005) та 'What is a singleton?' (2006), формували мислення щодо безпеки ШІ. Незважаючи на відносно коротке 19-річне існування аж до закриття у 2024 році, FHI здобув значні результати і запропонував новий спосіб осмислення великих питань людства. Академічна легітимізація досліджень у сфері безпеки ШІ через Оксфорд надала цій галузі наукового авторитету.
DARPA Grand Challenge: народження автономного водіння
8 жовтня 2005 року синій Volkswagen Touareg на ім'я 'Stanley' вписав своє ім'я в історію. Під керівництвом Себастьяна Труна команда Stanford Racing Team виграла DARPA Grand Challenge — перші у світі успішні змагання автономних транспортних засобів. Після повного провалу всіх учасників у 2004 році (найкращий результат: 7,4 милі, тобто 11,9 км) Stanley подолав усю 212-кілометрову пустельну трасу за 6 годин 53 хвилини. П'ять автомобілів досягли фінішу, чотири з них — у межах відведеного часу, що стало разючим прогресом порівняно з нульовим результатом попереднього року. Stanley пройшов через три вузькі тунелі, понад 100 гострих поворотів і небезпечний перевал Beer Bottle Pass із прірвами. Інновація полягала в програмному забезпеченні, а не в апаратному: лідарні датчики, машинне навчання і журнал людських рішень за кермом наділили Stanley можливостями, яких не мав жоден робот раніше. Призовий фонд у 2 мільйони доларів став лише початком — Stanley заклав підґрунтя для Tesla Autopilot, Google Waymo і всієї індустрії автономних транспортних засобів. Сьогодні Stanley зберігається в Смітсонівському музеї.
Глибинні мережі довіри: ренесанс глибинного навчання
У 2006 році Джеффрі Гінтон змінив ШІ-світ своєю важливою статтею про Deep Belief Networks (глибинні мережі довіри). Після багаторічної непопулярності нейронних мереж він показав, як ефективно навчати глибокі нейронні мережі. Його інновація: пошаровий попереднє навчання (Layer-by-Layer Pre-Training) за допомогою Restricted Boltzmann Machines (RBMs). Ця 'жадібна' стратегія навчання розв'язала проблему ініціалізації ваг і зробила глибинне навчання практично застосовним. Метод стекує RBM одна на одну й навчає кожен шар окремо, перш ніж налаштовувати всю мережу. Робота Гінтона завершила багаторічне перебування нейронних мереж у тіні й поклала початок їхньому ренесансу. Вже у 2009 році DBN суттєво знизили рівень помилок у розпізнаванні мовлення. У 2012 році команда Гінтона виграла ImageNet Challenge (ILSVRC) з AlexNet — глибокою згортковою нейронною мережею, що використовувала GPU-навчання, ReLU і Dropout і більше не потребувала RBM-попереднього навчання DBN. AlexNet досягла показника top-5 помилок 15,3% порівняно з 26,2% у другої команди — помітне покращення. Цей момент означав відродження нейронних мереж і початок нинішнього буму ШІ.
Netflix Prize: алгоритм за мільйон доларів
Демократизація машинного навчання через конкурс на основі краудсорсингу безпрецедентного масштабу — з публічним набором даних та призовим фондом у мільйон доларів. 2 жовтня 2006 року Netflix запустив цей конкурс за мільйон доларів: хто зможе покращити алгоритм рекомендацій Cinematch на 10 %? Маючи понад 100 мільйонів оцінок від 480 000 користувачів для 17 770 фільмів, Netflix надав один з найбільших публічних наборів даних для машинного навчання. Зареєструвалося понад 40 000 команд з 186 країн, більше 5 000 з них потрапили до кваліфікаційної таблиці лідерів і разом подали близько 44 000 дійсних рішень. Коли команда 'BellKors Pragmatic Chaos' 26 червня 2009 року першою подолала позначку в 10 %, це запустило 30-денний останній виклик, який завершився 26 липня 2009 року; офіційно переможця з покращенням на 10,06 % оголосили лише на церемонії нагородження 21 вересня 2009 року. Рецепт успіху: ансамблева комбінація з матричної факторизації та машин Больцмана з обмеженнями. Конкурс суттєво змінив колаборативну фільтрацію та продемонстрував силу краудсорсингу для складних задач машинного навчання. Хоча Netflix так і не запровадив алгоритми переможців у виробництво (занадто високі витрати на впровадження), конкурс надовго надихнув сучасну індустрію рекомендаційних систем.
Заснування Common Crawl Foundation
Демократизація Інтернету як навчальних даних для штучного інтелекту. У 2007 році Гіл Елбаз заснував Common Crawl Foundation із місією: архівувати весь публічний Інтернет і робити його вільно доступним. Починаючи з 2008 року розпочалася систематична діяльність з індексування, і відтоді корпус щомісяця зростає на мільярди сторінок. Нині (станом на 2024 рік) він налічує понад 100 мільярдів вебсторінок і кілька петабайт даних. Ця колекція стала найважливішим джерелом навчальних даних для великих мовних моделей і уможливила розробку GPT-3, ChatGPT, LLaMA та інших сучасних ШІ-систем. Common Crawl відрізнялася від комерційних підходів своїм некомерційним характером і вільною доступністю. Необроблена колекція даних потребує подальшої обробки, проте вона демократизувала доступ до масштабних мовних даних і зробила ШІ-дослідження менш залежними від приватних наборів даних.
CUDA: відеокарта стає двигуном ШІ
Революція ШІ 2012 року відбулася не лише завдяки алгоритмам — вона відбулася завдяки відеокартам. Ґрунт для цього підготував NVIDIA у 2007 році з CUDA: платформою, яка дозволила запускати звичайні програми на C-подібній мові безпосередньо на графічному процесорі — не лише для графіки. Анонсована з чипом G80 наприкінці 2006 року, представлена як публічна бета у лютому 2007 року і як версія 1.0 у червні 2007 року, CUDA вперше зробила величезний паралелізм графічних процесорів широко доступним. Це ідеально відповідає нейронним мережам, обчислення яких по суті складаються з матричних множень — тисячі малих операцій одночасно. П'ять років потому Кріжевський, Сутскевер і Гінтон навчили AlexNet на двох картах NVIDIA GTX 580 за допомогою CUDA — прорив, який запалив глибинне навчання. З 2014 року cuDNN від NVIDIA надає оптимізовані компоненти, на яких сьогодні працюють TensorFlow, PyTorch та інші. Чесна оцінка: CUDA не винайшла GPGPU (програмовані шейдери існували з 2001 року, BrookGPU — з 2004-го) і не спричинила глибинне навчання поодинці — але вона зробила потрібну обчислювальну потужність доступною, без якої решта не стала б можливою.
Zero-Shot Learning: навчання без даних
Формалізація навчання на невидимих класах за допомогою семантичних описів. У липні 2008 року Юго Ларошель, Думітру Ерхан та Йошуа Бенджіо на конференції AAAI опублікували роботу 'Zero-data Learning of New Tasks', надавши теоретичне попереднє обгрунтування. Саму назву 'Zero-Shot Learning' запровадили 2009 року дві інші групи: Палатуччі та колеги у статті 'Zero-Shot Learning with Semantic Output Codes' на NIPS 2009, а також Ламперт та колеги зі своїм атрибутним підходом на CVPR 2009. Фундаментальна проблема: як модель може класифікувати класи, для яких немає навчальних даних, а є лише описи? Вирішення полягало в семантичних ембедингах і трансферному навчанні — повторному використанні навчених моделей для нових завдань. Формалізація Ларошеля стосувалася дуже великих наборів класів, які не повністю охоплені навчальними даними. Експериментальний аналіз довів значну здатність до узагальнення в цьому контексті. Ця робота заклала концептуальну основу для сучасних можливостей few-shot і zero-shot у GPT-3, GPT-4 та інших великих мовних моделях. Zero-Shot Learning став ключовою технологією для масштабованих систем ШІ.
Створення датасетів CIFAR
Створення фундаментального бенчмарка для компʼютерного зору. У 2009 році Алекс Кріжевський, Вінод Наїр та Джеффрі Гінтон в Університеті Торонто розробили датасети CIFAR-10 та CIFAR-100. Вони виникли як марковані підмножини датасету «Tiny Images» з 80 мільйонів зображень. CIFAR-10 включає 60 000 кольорових зображень 32×32 пікселі в десяти категоріях, таких як літаки, автомобілі та тварини, тоді як CIFAR-100 розподіляє таку ж кількість зображень на сто детальніших класів. Датасети стали одним із найважливіших бенчмарків дослідження компʼютерного зору та забезпечили стандартизовані порівняння між різними алгоритмами. Примітним є звʼязок з AlexNet: Кріжевський використовував CIFAR-10 ще до 2011 року для тренування малих CNN на окремих GPU — попередник його пізнішого успіху з ImageNet у 2012 році.
ImageNet: набір даних, що змінив усе
Створення набору даних, що уможливив розвиток глибинного навчання. У 2009 році Фей-Фей Лі зі своєю командою представила статтю ImageNet і продемонструвала візуальну базу даних, що мала трансформувати комп'ютерний зір — на момент запуску вона налічувала близько 3,2 мільйона вручну анотованих зображень у приблизно 5 200 категоріях. У повному обсязі ImageNet пізніше охопив понад 14 мільйонів вручну анотованих зображень і близько 22 000 категорій на основі ієрархій WordNet, усуваючи критичне вузьке місце — брак великих, якісних навчальних даних. Анотування здійснювалося в ході проекту приблизно 49 000 виконавцями зі 167 країн через Amazon Mechanical Turk — проект безпрецедентної колаборації. Те, що починалося як постер у куті конференц-залу в Маямі-Біч, переросло в щорічний конкурс ImageNet Challenge (ILSVRC) і стало одним із трьох рушіїв сучасного розвитку ШІ. ImageNet уможливив прорив AlexNet у 2012 році та заклав фундамент для автономних транспортних засобів, розпізнавання облич і медичної візуалізації.
Заснування DeepMind
Народження ШІ-лабораторії, яка створюватиме заголовки. У вересні 2010 року Деміс Хассабіс, Шейн Легг та Мустафа Сулейман заснували в Лондоні DeepMind Technologies. Їхня мета: розробити загальний штучний інтелект, поєднуючи знання з нейронауки та машинного навчання. Хассабіс, колишній шаховий вундеркінд та розробник ігор, приніс унікальне бачення: ШІ повинен навчатися як людський мозок. У 2014 році Google придбала стартап за приблизно 500 мільйонів доларів — одне з найбільших придбань у сфері ШІ в історії. DeepMind згодом здивує світ AlphaGo, AlphaFold та іншими проривами.
ImageNet Challenge: початок змагання
Встановлення найважливішого тесту з комп'ютерного зору в історії ШІ. У 2010 році стартував перший ImageNet Large Scale Visual Recognition Challenge (ILSVRC) та створив стандартизований конкурс, що мав визначати напрямок досліджень комп'ютерного зору протягом наступного десятиліття. З 1 000 категоріями об'єктів і 1,2 мільйона навчальних зображень конкурс значно перевершив тогочасні доступні тести на зразок PASCAL VOC, що мав лише 20 класів. Оцінювання здійснювалося за показниками похибки Top-1 і Top-5 — метриками, що є стандартом донині. З 2010 по 2017 рік точність Top-5 переможців значно покращилася: з 71,8% до 97,3%, зрештою перевершивши людську продуктивність. Щорічний конкурс залучив понад 50 установ з усього світу та каталізував досягнення, які у 2012 році увінчалися значним проривом AlexNet — показником похибки Top-5 лише 15,3% (близько 84,7% точності).
Watson перемагає чемпіонів Jeopardy
Тріумф IBM у обробці природної мови та доказ машинного розуміння мови. 16 лютого 2011 року система IBM Watson у телевізійному шоу Jeopardy перемогла двох найуспішніших чемпіонів усіх часів: Кена Дженнінгса (74 перемоги поспіль) та Бреда Раттера (3,25 мільйона доларів виграшів до 2005 року). Watson, розроблений командою DeepQA Девіда Феруччі, складався з 90 серверів IBM Power 750 (у 10 стійках) з 16 терабайтами оперативної пам'яті та 2 880 процесорними ядрами POWER7. Інновація полягала в обробці природної мови: Watson розумів запитання природною мовою та відповідав точніше, ніж будь-яка стандартна пошукова технологія — без підключення до Інтернету. Виграши Watson склали 77 147 доларів (пожертвуваних на благодійність), що більш ніж на 50 000 доларів перевищило результати суперників-людей. Відомий фінальний коментар Кена Дженнінгса 'I for one welcome our new computer overlords' підкреслив історичне значення цього досягнення в обробці природної мови.
Запуск Siri: голосовий асистент стає масовим явищем
4 жовтня 2011 року Apple суттєво змінила взаємодію людини з комп'ютером, представивши Siri на iPhone 4S. Як перший масовий голосовий асистент, глибоко інтегрований у смартфон, Siri принесла ШІ в кишені мільйонів людей. 'Яка сьогодні погода?' або 'Знайди мені гарний грецький ресторан' — раптово користувачі могли природно розмовляти зі своїм телефоном. При цьому Siri не була цілком новою розробкою: з 2010 року вона існувала як самостійний застосунок iOS компанії Siri Inc. (придбаної Apple), а Google вже пропонував голосовий пошук Voice Actions. Але саме бездоганна інтеграція Apple в операційну систему перетворила голосового асистента на масове явище. Siri спиралася на десятиліття досліджень у SRI International та проекті DARPA CALO. Сьюзан Беннетт ще у 2005 році несвідомо записала оригінальний голос. Стів Джобс, тяжко хворий в останні дні свого життя, вже не з'явився на презентаційному заході — iPhone 4S представив Тім Кук. Через день після анонсу Siri Джобс пішов з життя. Siri не була досконалою — критики вказували на жорсткі команди й недостатню гнучкість. Але мета була досягнута: ШІ став масовим явищем. Siri надихнула Amazon Alexa, Google Assistant і Microsoft Cortana. Почалася ера голосових асистентів.
Dropout-регуляризація
У липні 2012 року Джеффрі Гінтон, Нітіш Срівастава, Алекс Крижевський, Ілля Суцкевер і Руслан Салахутдінов суттєво змінили навчання нейронних мереж, винайшовши Dropout-регуляризацію. Ця елегантна техніка запобігає перенавчанню (overfitting) шляхом випадкового вимкнення приблизно половини всіх нейронів під час навчання, що дозволяє уникнути складних ко-адаптацій. Замість специфічних комбінацій ознак кожен нейрон навчається стійким, загально корисним патернам розпізнавання. Метод, опублікований на arXiv 3 липня 2012 року, став кілька місяців потому одним із будівельних блоків тріумфу AlexNet на ImageNet у рамках ILSVRC 2012, результати якого були представлені у жовтні 2012 року, — поряд із GPU-навчанням, ReLU-активацією та глибиною мережі, — і перетворився на стандарт у більшості сучасних архітектур глибинного навчання. Dropout встановлює нові рекорди у розпізнаванні мовлення та об'єктів і розв'язує ключову проблему перенавчання у глибоких мережах.
Успіх AlexNet
Переломний момент для глибинного навчання та сучасного ШІ. 30 вересня 2012 року були опубліковані результати ImageNet Challenge, у якому AlexNet здобув перемогу з таким відривом, що комп'ютерний зір зазнав значних змін. Алекс Крижевський, Ілля Суцкевер та Джеффрі Гінтон з Університету Торонто розробили CNN-архітектуру, яка перевершила конкурентів на вагомі 10,9 відсоткового пункту — результат, який у науковому світі вважається помітним. Маючи 60 мільйонів параметрів та інноваційні техніки, такі як активації ReLU та шари Dropout, AlexNet переконливо продемонстрував практичну перевагу глибинного навчання. Це був момент, коли цікава теорія перетворилась на домінуючу технологію. Ян ЛеКун назвав це 'безсумнівним переломним моментом в історії комп'ютерного зору'. Реалізація на основі GPU проклала шлях для сучасного розвитку ШІ.
Революція глибинного навчання
Рік, який відкрив еру сучасного ШІ завдяки поєднанню наборів даних, потужності GPU та нейронних архітектур. 2012 рік ознаменував піднесення глибинного навчання (Deep Learning) як домінуючої технології ШІ, каталізатором чого став вражаючий успіх AlexNet на ImageNet. Це стало можливим завдяки злиттю трьох тенденцій: набір даних ImageNet Фей-Фей Лі надав масиви розмічених навчальних даних, GPU-обчислення досягли необхідної обчислювальної потужності для глибоких мереж, а вдосконалені методи навчання — такі як ReLU-активації та Dropout-регуляризація — подолали давні обмеження. Команда Джеффрі Гінтона — Алекс Крижевський, Ілля Суцкевер і сам Гінтон — довела в батьківському будинку Крижевського на двох картках Nvidia, що глибокі нейронні мережі є практично застосовними. AlexNet виявився поворотним моментом для комп'ютерного зору. Цей успіх значно підвищив інтерес до глибинного навчання і проклав шлях до VGG, ResNet і зрештою до сучасних генеративних систем ШІ.
Word2Vec: слова як вектори
Перетворення представлення слів через семантичні векторні простори. 16 січня 2013 року Томаш Міколов разом із командою Google опублікував основоположну статтю 'Efficient Estimation of Word Representations in Vector Space'. Word2Vec перетворив обробку природної мови (NLP), представляючи слова як щільні низьковимірні вектори (зазвичай від 100 до 300 вимірів), що фіксують семантичні та синтаксичні зв'язки — це був розрив з величезними, розрідженими one-hot-векторами попередніх підходів. Два архітектурні варіанти — CBOW (Continuous Bag of Words) та Skip-Gram — навчалися на великих текстових корпусах, що слова зі схожим значенням зустрічаються в схожих контекстах. Відомий приклад демонстрував векторну арифметику: Король - Чоловік + Жінка = Королева. З більш ніж 49 000 цитуваннями робота Міколова стала однією з найвпливовіших статей у галузі обробки природної мови. Word2Vec заклав основу для всіх сучасних технік ембедингу та уможливив семантичні міркування у векторних просторах. Ця інновація проклала шлях для трансформерних архітектур і сучасних великих мовних моделей.
VAE: варіаційні автокодувальники
Розвиток імовірнісних генеративних моделей через моделювання прихованого простору. 20 грудня 2013 року Diederik Kingma та Max Welling опублікували статтю 'Auto-Encoding Variational Bayes'. VAE поєднують мережі кодувальника та декодувальника через імовірнісний прихований простір — як правило, багатовимірний розподіл Гаусса. На відміну від детерміністичних автокодувальників, кодувальник кодує дані як розподіли, а не окремі точки, що уможливлює неперервну інтерполяцію та генерацію даних. Трюк репараметризації (Reparameterization Trick) робить випадковість диференційованою як вхід моделі та уможливлює стандартну оптимізацію за градієнтом. У своїх експериментах VAE генерували рукописні цифри (MNIST) та невеликі зображення облич (Frey Faces) — ще розмиті, але як доказ здійсненності варіаційного висновку (variational inference) вони були визначальними. Ця праця заклала фундамент для сучасного генеративного ШІ та вплинула на подальші імовірнісні підходи аж до дифузійних моделей.
Adam: стандартний оптимізатор глибинного навчання
Щоб нейронна мережа навчалася, оптимізатор має крок за кроком налаштовувати мільйони її параметрів у правильному напрямку. У 2014 році Дідерік Кінгма та Джиммі Ба запропонували метод, який швидко став найпопулярнішим у галузі: Adam — назва походить від англійського виразу Adaptive Moment Estimation (і не є абревіатурою). Хитрість Adam полягає в тому, що він веде окрему, автоматично скориговану швидкість навчання для кожного параметра. Для цього він поєднує дві перевірені ідеї: імпульс (Momentum), який враховує попередній напрямок, та адаптивний розмір кроку на кшталт RMSProp. Результат: мережі навчаються стабільно і без виснажливого підбору швидкості навчання. Стаття стала однією з найцитованіших у дослідженнях ШІ. Для чесної оцінки: Adam не є панацеєю. У деяких випадках простіший SGD краще узагальнює нові дані. Крім того, Adam спирається на попередників — AdaGrad і RMSProp, — а пізніші варіанти, як-от AdamW (2017), виправляли слабкості оригіналу.
MS COCO: золотий стандарт комп'ютерного зору
У 2014 році дослідницька команда Microsoft Research, Корнелльського університету та UC Berkeley суттєво змінила дослідження комп'ютерного зору завдяки набору даних COCO (Common Objects in Context). На відміну від ImageNet з ізольованими об'єктами, COCO показував предмети в їхньому природному контексті — так, як вони зустрічаються в реальному світі. 2,5 мільйона анотацій у 328 000 зображеннях, розподілених на 91 категорію оригінальної статті, з яких 80 формують еталон виявлення, що використовується донині, — всі це повсякденні предмети, які може впізнати 4-річна дитина. Інновація полягала в деталях: попіксельні маски сегментації замість простих обмежувальних рамок. COCO вперше уможливив точну локалізацію об'єктів та розуміння складних сцен. Набір даних став золотим стандартом для виявлення об'єктів, сегментації екземплярів та підписів до зображень. Від YOLO до Mask R-CNN — усі великі моделі комп'ютерного зору вимірюються за COCO. Стандартизовані метрики, як-от mean Average Precision (mAP), зробили порівняння моделей об'єктивно можливим. Понад десятиліття потому COCO залишається найважливішим еталоном спільноти комп'ютерного зору. Без COCO не було б сучасних систем розпізнавання об'єктів в автономних транспортних засобах, відеоспостереженні або доповненій реальності.
GAN — генеративно-змагальні мережі
Ян Гудфеллоу винаходить 2014 року Generative Adversarial Networks (GAN) протягом однієї ночі в Монреалі після відвідин пабу. Його основоположний фреймворк змушує дві нейронні мережі змагатися одна з одною у грі мінімакс: генератор створює синтетичні дані, дискримінатор намагається відрізнити справжні дані від підроблених. Це змагальне навчання докорінно змінює генеративний ШІ. Вихідна GAN 2014 року генерувала лише невеликі розмиті зображення (зокрема цифр та облич), проте проклала шлях до пізнішої фотореалістичної генерації зображень. Стаття, опублікована на arXiv у 2014 році, стає однією з найвпливовіших у галузі ШІ і перетворює Гудфеллоу на знаменитість у світі ШІ. За нею слідують сотні варіацій GAN.
Механізм уваги: ключ до сучасних великих мовних моделей
Вересень 2014 року: Дзмітрі Бахданау, Кюнхюн Чо та Йошуа Бенджіо опублікували статтю, яка мала докорінно змінити світ обробки природної мови (NLP). 'Neural Machine Translation by Jointly Learning to Align and Translate' вирішила фундаментальну проблему моделей типу sequence-to-sequence. Попередні архітектури кодувальник-декодувальник стискали кожне вхідне речення в єдиний вектор фіксованої довжини — вузьке місце у разі довгих речень. Attention Бахданау (Bahdanau Attention) стала значним кроком вперед: замість фіксованого вектора модель використовувала динамічну увагу до різних частин вхідного речення. Подібно до того, як людське око стрибає між словами під час читання, увага ШІ переміщується між релевантними словами. Ця 'адитивна увага' (Additive Attention) стала концептуальним провісником сучасних NLP-систем. Пізніший Transformer (2017) побудований на ідеї уваги, але замінив адитивний варіант ефективнішою Scaled-Dot-Product Attention. Без концепції уваги Бахданау не було б Transformer, без Transformer — не було б сімейства GPT або BERT. Цей прорив стався за три роки до 'Attention Is All You Need'.
Запуск Amazon Alexa та Echo
Amazon суттєво змінює взаємодію між людиною та технологіями, представивши Alexa та смарт-колонку Echo 6 листопада 2014 року. Спочатку Echo запускається лише за запрошеннями та виключно для учасників Prime; лише з початком публічного продажу у 2015 році голосовий ШІ стає доступним для широкого кола споживачів та перетворює будинок на середовище, кероване голосом. Спираючись на польську технологію синтезу мовлення Ivona, придбану 24 січня 2013 року, Amazon створює принципово новий досвід користувача. Echo починає як пристрій для керування музикою, але швидко розвивається у універсальний центр розумного будинку. Ця інновація засновує масову категорію та знаменує початок масштабного розвитку ринку розумних колонок, надихаючи численних конкурентів.
Deep Q-Networks: ШІ навчається Atari з пікселів
Задовго до того, як AlphaGo потрапив у заголовки новин, DeepMind у 2015 році навчив ШІ грати у відеоігри Atari лише на основі сирих пікселів — і тим самим заклав фундамент глибинного навчання з підкріпленням. У лютому 2015 року команда Володимира Мніха опублікувала у Nature роботу 'Human-level control through deep reinforcement learning' (попередник з'явився у 2013 році). Нейронна мережа, яка бачила лише екран і рахунок, навчилася грати у 49 різних ігор Atari — з тією самою архітектурою, без налаштування для кожної гри. Технічно DeepMind поєднав згорткову мережу з Q-навчанням, буфером досвіду (Experience Replay, запровадженим Ліном на початку 1990-х) і стабілізуючою цільовою мережею. При оцінці варто бути точним: система досягла людського рівня приблизно в половині ігор і перевершила всі попередні методи у 43 із 49 — але у іграх з рідкісними винагородами, як-от Montezuma's Revenge, зазнала майже повного краху. Попри це, це було доказом того, що глибокі мережі і навчання з підкріпленням поєднуються у великому масштабі — міст від Q-навчання 1990-х до AlphaGo і AlphaZero.
Пакетна нормалізація: важливий крок вперед у навчанні нейронних мереж
11 лютого 2015 року Сергій Йоффе та Крістіан Сцегеді з Google опублікували статтю, яка суттєво змінила навчання глибоких нейронних мереж. Їхній діагноз: 'Internal Covariate Shift' — розподіл входів кожного шару зміщується під час навчання, що робить навчання нестабільним. Їхнє елегантне рішення: пакетна нормалізація (Batch Normalization) нормалізує активації кожного шару для кожного міні-пакету. Ефект був помітним: приблизно в 14 разів менше кроків навчання для досягнення тієї ж точності. Стали можливими вищі швидкості навчання, Dropout часто виявився зайвим, ініціалізація — менш критичною. Метод одночасно виступав регуляризатором і прискорювачем. Їхній ансамбль ImageNet досяг 4,8% Top-5 Error, перевершивши оцінювачів-людей (прибл. 5,1%). Цікаво: пізніші дослідження (Santurkar та ін., 2018) показали, що справжній механізм дії пов'язаний менше з приборканим Covariate Shift, а більше зі згладженим ландшафтом втрат — тобто початкове пояснення сьогодні вважається відносним. Маючи вже понад 60 000 цитувань, стаття надихнула незліченні методи нормалізації: GroupNorm, LayerNorm, InstanceNorm. Сьогодні пакетна нормалізація є стандартом у багатьох сучасних архітектурах від ResNet до сучасних CNN — Transformer натомість зазвичай використовують частково натхнену нею Layer Normalization.
YOLO: You Only Look Once
Трансформація виявлення обʼєктів у реальному часі через уніфіковану однопрохідну архітектуру. 8 червня 2015 року Джозеф Редмон, Сантош Дівала, Росс Гіршик та Алі Фархаді представили революційну статтю 'You Only Look Once: Unified, Real-Time Object Detection'. YOLO прорвав традиційну двоетапну парадигму виявлення обʼєктів та сформулював детекцію як задачу регресії для просторово розділених обмежувальних рамок. Одна нейронна мережа передбачає обмежувальні рамки та ймовірності класів безпосередньо з повних зображень за одну оцінку. З базовою продуктивністю 45 fps та Fast YOLO з вражаючими 155 fps система була в сотні-тисячі разів швидшою за існуючі детектори. Архітектура на основі сітки розбивала зображення на клітинки, де кожна клітинка передбачала обʼєкти у своєму центрі. YOLO вивчив узагальнюючі представлення обʼєктів та значно перевершив інші методи при переносі доменів.
Розробка DeepMind AlphaGo
У жовтні 2015 року DeepMind досягає історичного прориву: AlphaGo стає першою системою ШІ, яка перемагає професійного гравця у го на повній дошці без гандикапу. AlphaGo перемагає європейського чемпіона з го Фань Хуея з рахунком 5:0 і здобуває таким чином найскладнішу класичну настільну гру у світі — на десятиліття раніше, ніж прогнозували експерти. Матч спочатку залишається таємницею; про успіх публічно оголошують лише 27 січня 2016 року разом із публікацією у фаховому журналі Nature. Го астрономічно складніше за шахи — приблизно в гугол (10^100) разів більше допустимих позицій, а кількість можливих конфігурацій на дошці перевищує кількість атомів у відомому Всесвіті. Цей помітний успіх демонструє потужність нейронних мереж і пошуку за методом Монте-Карло.
Tesla Autopilot: системи допомоги водіям для масового ринку
14 жовтня 2015 року Tesla випустила програмне забезпечення версії 7.0 та вперше активувала Autopilot для автомобілів Model S. Апаратне забезпечення було встановлено в автомобілях ще з вересня 2014 року — за рік до активації програмного забезпечення. Система використовувала технологію Mobileye з фронтальною камерою, радаром і 12 ультразвуковими датчиками. Водії тепер могли користуватися адаптивним круїз-контролем, помічником утримання смуги та автоматичним паркуванням — функціями, що раніше були доступні лише в автомобілях преміум-класу. Tesla охарактеризувала це як автономність рівня 2: система допомагає водієві, але не замінює його. Musk наголосив при запуску: 'Ми радимо водіям тримати руки на кермі.' Вже в перший рік автопарк Tesla зібрав сотні мільйонів кілометрів з активним Autopilot — до кінця 2016 року Tesla повідомила приблизно про 222 мільйони пройдених миль. Концепція — попередньо встановлювати апаратне забезпечення, а функції розблоковувати через оновлення програмного забезпечення — продемонструвала автомобільній промисловості новий шлях. Від Mercedes до суто технологічних провайдерів, як-от Mobileye, численні гравці просували власні системи допомоги при водінні.
TensorFlow: ML-фреймворк Google стає відкритим
Демократизація машинного навчання через потужний внутрішній інструмент Google. 9 листопада 2015 року Google відкрила вихідний код TensorFlow під ліцензією Apache 2.0 та зробила свою другу ML-систему доступною для всіх. TensorFlow замінила внутрішню систему DistBelief та запропонувала подвійну швидкість з покращеною масштабованістю та готовністю до продакшну. Як універсальний процесор обчислювальних графів потоків TensorFlow дозволяла не лише глибоке навчання, а й будь-які диференційовні обчислення. Гнучкий Python-інтерфейс, автодиференціювання та першокласні оптимізатори революціонізували ML-розробку. Стратегія Google: Розробка на основі спільноти прискорює прогрес ШІ для всіх. Розроблена понад 30 авторами з команди Google Brain, TensorFlow стала однією з провідних ML-платформ та дозволила мільйонам розробників створювати просунуті ШІ-застосунки.
ResNet: залишкові мережі змінюють глибинне навчання
Розв'язання проблеми деградації дуже глибоких мереж і народження ультраглибоких нейронних мереж. 10 грудня 2015 року команда Каймін Хе з Microsoft Research опублікувала статтю 'Deep Residual Learning for Image Recognition', що суттєво змінила глибинне навчання. До того часу точність навчання погіршувалася при збільшенні глибини мереж — не стільки через зникаючі градієнти, скільки тому, що глибокі мережі просто важче оптимізувати. ResNet запровадив залишкові з'єднання — пропускні зв'язки, що передають входи безпосередньо до наступних шарів і уможливлюють навчання ультраглибоких мереж. З 152 шарами ResNet був утричі глибший за VGG, але менш складний. Вражаючий результат: 3,57 % частота помилок Top-5 ансамблю моделей на ImageNet — тріумф, що домінував у всіх категоріях. ResNet переміг у класифікації, детекції, локалізації ImageNet, а також у детекції та сегментації COCO 2015. Фреймворк залишкового навчання переформулював шари як навчання залишкових функцій замість неспіввіднесених функцій. Це нововведення уможливило навчання мереж зі сотнями шарів.
Заснування OpenAI
Організація, яка хотіла зробити ШІ доступним для всіх — і змінила світ. 11 грудня 2015 року Сем Альтман, Ілон Маск та інші відомі технологічні особистості оголосили про заснування OpenAI. Маючи обіцяний мільярд доларів — фінансове зобов'язання інвесторів, розраховане на кілька років, з якого спочатку надійшла лише невелика частина, — та мету розробки безпечного загального ШІ на благо всього людства, OpenAI вийшла на сцену як некомерційна дослідницька організація. Те, що розпочалося як ідеалістичне підприємство, перетворилося на найвпливовішу лабораторію ШІ у світі. У 2019 році було засновано прибуткову дочірню компанію. З GPT-3 та ChatGPT OpenAI заново визначила, на що здатний ШІ.
AlphaGo перемагає Лі Седоля
Історичний момент, коли ШІ вперше переміг чемпіона світу в найскладнішій настільній грі. З 9 по 15 березня 2016 року в Сеулі відбувся DeepMind Challenge Match — пʼять партій між Лі Седолем, одним із найкращих гравців у Го у світі, та AlphaGo. Результат вразив світ: 4:1 на користь машини. Особливо знаменитий «Хід 37» у другій партії продемонстрував машинну креативність — хід з імовірністю 1:10 000, який перевернув багатовікову мудрість Го. AlphaGo поєднав глибоке навчання з пошуком по дереву Монте-Карло і тренувався як на людських партіях, так і шляхом самогри. Проте відповідь Лі Седоля в четвертій партії його «божественним ходом 78» показала, що людська інтуїція все ще може дивувати. Понад 200 мільйонів людей по всьому світу спостерігали за цими партіями.
XGBoost: Extreme Gradient Boosting домінує в ML
Вдосконалення Gradient Boosting та завоювання проблем зі структурованими даними. 9 березня 2016 року Тяньці Чень та Карлос Гестрін опублікували на arXiv статтю XGBoost: A Scalable Tree Boosting System, представлену в серпні 2016 на конференції KDD. Розроблений з PhD-проєкту Ченя в Університеті Вашингтона, XGBoost значно покращив традиційний Gradient Boosting через екстремальні оптимізації: L1- та L2-регуляризація запобігала перенавчанню, градієнти другого порядку надавали точнішу інформацію про напрямок, а паралелізація значно прискорила побудову дерев. XGBoost домінував у змаганнях з машинного навчання 2010-х і став стандартним вибором для команд-переможців на Kaggle. На Higgs Boson ML Challenge Тяньці Чень отримав спеціальний приз, і XGBoost використовувався багатьма топ-учасниками, що закріпило його домінування на структурованих даних. Масштабована система наскрізного деревʼяного бустингу підтримує C++, Java, Python, R та інші мови. XGBoost довів постійну актуальність традиційних ML-методів паралельно з революцією глибокого навчання.
Google Assistant: стратегія ШІ передусім стає реальністю
18 травня 2016 року Сундар Пічаї представив Google Assistant на Google I/O — відповідь Google на Siri та Alexa. Після років відставання у сфері голосових помічників Google повною мірою надолужив прогаяне. Assistant був більшим, ніж оновлення Google Now — він став фундаментом стратегії 'AI-First' Пічаї. 'Ми хочемо, щоб користувачі вели безперервний діалог з Google', — пояснював Пічаї. 'Ми будуємо для кожного користувача свій власний індивідуальний Google.' Assistant мав стати 'ambient experience' — досвідом, що охоплює всі пристрої: від смартфонів через Google Home до автомобілів. На відміну від конкурентів, що базувалися на командах, Google зробив ставку на природну розмову та розуміння контексту. Спочатку Assistant лише анонсували; своїм першим домом він став кілька місяців по тому — месенджер Allo, а наприкінці 2016 року — колонка Google Home. Запуск ознаменував серйозний вихід Google на ринок голосового ШІ та заклав основу для сучасного домінування компанії у сфері ШІ.
Partnership on AI: технологічні гіганти об'єднуються
Важливий альянс провідних технологічних компаній задля відповідальної розробки ШІ. 28 вересня 2016 року Amazon, Facebook, Google, DeepMind, IBM і Microsoft заснували 'Partnership on Artificial Intelligence to Benefit People and Society' — незвичайну коаліцію колишніх конкурентів. З Еріком Горвіцем (Microsoft Research) і Мустафою Сулейманом (DeepMind) як тимчасовими співголовами Партнерство спочатку мало правління, що складалося виключно з представників корпорацій, і оголосило про намір перетворити його на паритетний орган з однаковою кількістю представників некорпоративного сектору. Місія охоплює дослідження та найкращі практики у сфері етики, справедливості, прозорості, захисту даних і взаємодії людини з ШІ. Примітно: Apple спочатку була відсутня, але приєдналася у 2017 році. Партнерство свідомо відмовляється від лобістської діяльності і зосереджується на дослідницькій співпраці. Ця ініціатива ознаменувала початок структурованого галузевого саморегулювання у розробці ШІ.
Розпізнавання мовлення досягає рівня людини
18 жовтня 2016 року компанія Microsoft досягла історичного успіху: вперше в галузі їхня система розпізнавання мовлення досягла продуктивності рівня людини на еталоні Switchboard для розмовного мовлення. Після 25 років досліджень мета була досягнута — 5,9% коефіцієнт помилок слів, настільки ж добре, як і професійні транскрибери на цьому завданні. (У 2017 році Microsoft скоригувала людський порівняльний показник до 5,1% і змушена була знову його досягати.) Xuedong Huang, головний спеціаліст Microsoft з розпізнавання мовлення, оголосив: 'Ми досягли паритету з людиною. Це історичне досягнення.' Система використовувала найновіші технології глибинного навчання: згорткові нейронні мережі, архітектури LSTM та нейронні мовні моделі з неперервними векторами слів. Сила полягала у систематичному поєднанні перевірених елементів — ансамблі акустичних моделей CNN та BLSTM, адаптація диктора за допомогою i-vector та повторне оцінювання за допомогою мовної моделі. Це стало можливим завдяки конвергенції трьох напрямків розвитку: великих наборів даних (Switchboard Corpus), GPU-обчислень та вдосконалених методів навчання. Це досягнення проклало шлях для сучасних голосових помічників — однак воно підтверджує паритет лише на вузько визначеному завданні транскрипції, а не загальні людські когнітивні здібності.
Принципи Асіломару: фахова спільнота встановлює орієнтири
На початку 2017 року, задовго до ChatGPT, провідні дослідники ШІ зібралися в Асіломарі на каліфорнійському узбережжі — там само, де біологи у 1975 році обговорювали ризики генної інженерії. Ініціатором конференції з питань корисного ШІ стало Future of Life Institute. Її підсумком стали 23 принципи ШІ Асіломару — настанови щодо досліджень, цінностей (безпека, прозорість) і довгострокових ризиків. Їх підтримали понад тисяча фахівців із ШІ і відомі підписанти, зокрема Стівен Гокінг і Ілон Маск. Це була одна з перших масштабних спроб фахової спільноти встановити для себе орієнтири — за роки до того, як урядові органи звернули увагу на цю проблему. Для чесної оцінки: принципи були добровільними і необов'язковими. Вони формували дискусію, але не мали юридичної сили.
MobileNet — ШІ для смартфонів
У квітні 2017 року Google Research суттєво змінює мобільний ШІ за допомогою MobileNet — однієї з перших моделей глибинного навчання, спеціально розробленої для смартфонів, IoT та вбудованих систем (попередники, як-от SqueezeNet, уже існували). Завдяки інноваційній архітектурі Depthwise Separable Convolution MobileNet скорочує обчислювальні витрати при збереженні тієї самої ефективності приблизно до однієї восьмої порівняно зі звичайними згортками. Ця помітна ефективність — близько дев'яти разів менше обчислювальних операцій при ядрах 3x3 — прокладає шлях для обробки зображень у реальному часі на мобільних пристроях. MobileNet демократизує комп'ютерний зір для мільярдів смартфонів і утверджує Edge Computing як нову парадигму ШІ поза хмарними рішеннями.
Публікація дослідницької статті RLHF
Технологія, яка зробила можливим ChatGPT — за роки до прориву. У червні 2017 року дослідники з OpenAI та DeepMind опублікували статтю 'Deep Reinforcement Learning from Human Preferences'. Ідея: Замість тренування ШІ-систем з ідеально визначеними функціями винагороди, вони навчаються безпосередньо з людського зворотного звʼязку. Люди оцінюють різні виходи ШІ, і система навчається, яка поведінка є переважною. Цей метод, пізніше відомий як RLHF (Reinforcement Learning from Human Feedback), став ключовою технологією за ChatGPT та іншими сучасними мовними моделями. RLHF дозволив зробити ШІ-системи кориснішими, чеснішими та безпечнішими.
Transformer: 'Attention Is All You Need'
12 червня 2017 року вісім дослідників — переважно з Google, серед яких був стажер з University of Toronto — опублікували на arXiv статтю 'Attention Is All You Need' — основу сучасних великих мовних моделей. Ashish Vaswani, Noam Shazeer та їхні колеги запропонували нову архітектуру: Transformer. На відміну від попередніх моделей послідовностей, Transformer відмовляється від рекурентних та згорткових шарів. Натомість він використовує виключно механізми уваги (Attention). Self-Attention охоплює зв'язки між усіма позиціями послідовності паралельно — послідовна обробка більше не потрібна. Multi-Head Attention використовує кілька паралельних голів уваги, які вивчають різні аспекти відносин між словами. На WMT 2014 модель досягла 28,4 BLEU для пари англійська-німецька та 41,8 BLEU для пари англійська-французька — нові рекордні показники. Архітектура виявилася надзвичайно далекосяжною: GPT, BERT, ChatGPT та багато інших моделей засновані на варіантах Transformer. З понад 100 000 цитувань — і ця кількість постійно зростає — стаття належить до найбільш цитованих у 21 столітті.
Китайський майстер-план ШІ: боротьба за світове лідерство
20 липня 2017 року Державна рада Китаю оголосила 'New Generation Artificial Intelligence Development Plan' — першу комплексну національну стратегію ШІ такого масштабу. Мета: до 2030 року стати світовою наддержавою в галузі ШІ. Трирівневий план був гранично чітким: 2020 рік — глобальна конкурентоспроможність; 2025 рік — лідерство в окремих підгалузях і значні прориви в основах теорії ШІ; 2030 рік — провідна ШІ-наддержава з промисловим виробництвом на 1 трильйон юанів. Китай прямо визначив ШІ як 'пріоритет міжнародної конкуренції' і 'стратегічну технологію для національної безпеки'. Інвестиції є суттєвими — десятки мільярдів доларів спрямовуються на наукові дослідження, інфраструктуру та розвиток кадрів. План охоплює як військові, так і цивільні застосування: від автономних озброєнь до розумних міст. Принципи відкритого коду мають сприяти міжнародному співробітництву, тоді як Китай водночас прагне технологічної незалежності. Ця стратегія суттєво змінила глобальний ШІ-ландшафт і спричинила хвилю національних ШІ-ініціатив у США та Європі.
Монреальська декларація про відповідальний ШІ
Перша міжнародна ініціатива, яка розробила етичні принципи ШІ через демократичну участь громадян. 3 листопада 2017 року Університет Монреаля розпочав процес спільного формування Монреальської декларації про відповідальний розвиток ШІ. Форум зі суспільно відповідального розвитку ШІ зібрав понад 400 учасників з різних секторів та дисциплін. У 15 дорадчих семінарах протягом трьох місяців понад 500 громадян, експертів і зацікавлених сторін обговорювали суспільні виклики ШІ. Декларація, опублікована 4 грудня 2018 року, містить 10 принципів та 59 рекомендацій, заснованих на таких цінностях, як добробут, автономія, справедливість, приватність та демократія. Маючи понад 500 підписантів, Монреальська декларація утвердила партисипативний підхід до управління ШІ та вплинула на подальші міжнародні зусилля з відповідального розвитку ШІ.
AlphaZero опановує три гри
Народження універсального ШІ для ігор через чисте самонавчання. У грудні 2017 року DeepMind представив AlphaZero — систему, яка без жодних попередніх знань опанувала три зовсім різні стратегічні гри: шахи, шогі та Го. Підхід tabula rasa означав: жодних баз дебютів, жодних людських стратегій — лише правила гри як відправна точка. Протягом 24 годин AlphaZero досяг надлюдського рівня — у шахах вже через 4 години, у шогі — через 2 години. У матчі зі 100 партій проти Stockfish він виграв 28 партій, не програв жодної та досяг 72 нічиїх. Особливість полягала у ефективному пошуку: тоді як Stockfish аналізує 60 мільйонів позицій на секунду, AlphaZero розглядає лише 60 000 — але значно цілеспрямованіше завдяки своїй глибокій нейронній мережі. Це досягнення переконливо продемонструвало узагальнюваність та незалежність від домену чистого навчання з підкріпленням.
Премія Тюрінга за глибинне навчання
У 2019 році ШІ отримав найвищу відзнаку в інформатиці: премія А.М. Тюрінга 2018 року — яку часто називають Нобелівською премією з інформатики — дісталася Йошуа Бенджіо, Джеффрі Хінтону і Яну ЛеКуну, трьом хрещеним батькам глибинного навчання. ACM відзначила їхні концептуальні та технічні прориви, що зробили глибокі нейронні мережі центральним елементом інформатики — від зворотного поширення помилки і згорткових мереж до ідей, що зумовили прорив 2012 року. Нагорода стала запізнілим, офіційним визнанням революції, над якою десятиліттями насміхалися. Чесна оцінка: у глибинного навчання є багато авторів — такі дослідники, як Юрген Шмідгубер, публічно критикували, що важливі внески залишилися недостатньо відзначеними. Премія вшановує центральну роль тріо, а не одноосібне авторство.
GDPR: поворотний момент для захисту даних з впливом на ШІ
25 травня 2018 року набув чинності Загальний регламент ЄС про захист даних (GDPR/DSGVO) — поворотний момент для ШІ та захисту даних у всьому світі. Як 'мати всіх законів про захист даних' він замінив застарілу Директиву 95/46/ЄС 1995 року, що походила з кам'яного віку Інтернету. GDPR запровадив 'Privacy by Design' як обов'язкову вимогу: захист даних має бути вбудований у системи ШІ з самого початку. Глобальний ефект охоплення виявився масштабним — навіть американські технологічні гіганти зобов'язані дотримуватися стандартів ЄС при обробці даних європейців. Для ШІ це стало фундаментальним викликом: як пояснити алгоритми 'чорної скриньки', коли GDPR вимагає прозорості? Спостерігачі побачили стимул розробляти ШІ з меншим обсягом даних, а такі методи, як Transfer Learning (навчання з перенесенням), набули більшого значення. GDPR надихнув на прийняття законів про захист даних у всьому світі — від Каліфорнії до Сингапуру. Регламент заклав основу для Закону ЄС про ШІ 2024 року — від захисту даних до регулювання ШІ був лише один логічний крок.
GPT-1: народження генеративного попереднього навчання
Основа всіх сучасних великих мовних моделей через ненавчане попереднє навчання. 11 червня 2018 року Алек Редфорд із командою OpenAI опублікував визначальну статтю 'Improving Language Understanding by Generative Pre-Training'. Ця робота вперше поєднала архітектуру Transformer з ненавчаним попереднім навчанням і встановила двоетапну парадигму: спочатку генеративне навчання на великих текстових корпусах, а потім тонке налаштування (fine-tuning) для конкретних завдань. Маючи 117 мільйонів параметрів і навчання на наборі даних BooksCorpus з понад 7 000 неопублікованих книг різних жанрів, GPT-1 довів, що Transfer Learning (навчання з перенесенням) працює для розуміння мови. Дванадцятишарова архітектура Transformer типу 'decoder-only' з masked self-attention заклала шаблон для всієї серії GPT. Ця інновація перетворила архітектуру Transformer 2017 року на практичний інструмент для різноманітних завдань NLP і поклала початок ері великих мовних моделей.
BERT суттєво покращує розуміння мови
Важливий крок вперед у двонаправлених мовних моделях та народження сучасної обробки природної мови. У жовтні 2018 року Джейкоб Девлін та його команда в Google Research опублікували статтю про BERT — Bidirectional Encoder Representations from Transformers. Ця інновація суттєво змінила обробку мови, вперше навчивши глибокі двонаправлені представлення на немаркованих текстах. На відміну від попередніх моделей, BERT враховує як лівий, так і правий контекст в усіх шарах одночасно. Результат був помітним: BERT досяг нових найкращих показників у одинадцяти NLP-завданнях та покращив показник GLUE на вагомі 7,7 відсоткового пункту до 80,5%. Саме попереднє навчання тривало кілька днів на багатьох TPU — проте публікація у відкритому доступі демократизувала передову технологію: готову попередньо навчену модель можна було дотренувати (Fine-Tuning) для власного завдання на одній хмарній TPU приблизно за 30 хвилин. BERT утвердив парадигму попереднього навчання з подальшим дотренуванням (Pre-Training-Fine-Tuning), яка сьогодні є основою всіх великих мовних моделей.
GPT-2 — «Занадто небезпечний для публікації»
OpenAI випускає GPT-2 у лютому 2019 року, але несподівано вирішує утримати повну модель на 1,5 мільярда параметрів — нібито «занадто небезпечну» для повного випуску. Це безпрецедентне рішення розколює спільноту ШІ: прихильники хвалять відповідальну позицію з огляду на ризики зловживань, такі як фейкові новини та автоматизований спам. Критики звинувачують OpenAI у «закритті» досліджень та розпалюванні безпідставних страхів. Через девʼять місяців без сильних доказів зловживань OpenAI випускає повну модель і ознаменовує поворотний момент у дебатах про відповідальний розвиток ШІ.
AlphaStar досягає рівня Grandmaster
Підкорення найскладнішої стратегії в реальному часі штучним інтелектом. У липні та серпні 2019 року AlphaStar від DeepMind анонімно виступав у рейтинговому режимі на Battle.net; 30 жовтня 2019 року DeepMind повідомив у науковому журналі Nature, що система стала першим ШІ, який досяг рівня Grandmaster у StarCraft II — грі, яка вважалася надто складною для машин. AlphaStar посів рейтинг вище 99,8% усіх активних гравців Battle.net та опанував усі три раси: Протосс, Терран і Зерг. До цього AlphaStar вже переміг профгравців Гжегожа 'MaNa' Кемінча та Даріо 'TLO' Вюнша з рахунком 5:0 кожного. Особливістю стала архітектура багатоагентного навчання з підкріпленням (Multi-Agent Reinforcement Learning), яка тренувала різні стратегії та контрстратегії у лізі. Із середнім показником 280 дій на хвилину AlphaStar навіть поступався людським профі, проте демонстрував точнішу гру. Це досягнення стало важливою віхою для ШІ у відеоіграх та прийнятті рішень у реальному часі.
T5 — Text-to-Text Transfer Transformer
У жовтні 2019 року Google AI суттєво змінює NLP з T5, Text-to-Text Transfer Transformer, який перетворює всі завдання обробки мови в уніфікований формат 'text-to-text'. З інноваційним підходом 'Everything is Text' переклад, резюмування, відповіді на питання та класифікація можуть виконуватися з тією ж моделлю, тією ж функцією втрат та тими ж гіперпараметрами. T5 вводить всеохоплюючий датасет C4 та досягає майже людської продуктивності на бенчмарках SuperGLUE. Як Foundation Model з до 11 мільярдами параметрів T5 прокладає шлях для сучасних великих мовних моделей та встановлює уніфіковану парадигму text-to-text як стандарт.
RAG: Мовні моделі, що спочатку шукають
Мовна модель знає лише те, що є у її навчальних даних — а у сумнівних випадках впевнено вигадує щось від себе. У 2020 році Патрік Льюїс і колеги з Facebook AI показали вихід: Retrieval-Augmented Generation, скорочено RAG. Ідея бездоганно проста. Перш ніж відповісти, модель шукає в зовнішньому джерелі знань — наприклад, у Вікіпедії — відповідні фрагменти тексту і спирає свою відповідь на знайдене. Так можна оновлювати знання без повторного навчання моделі, а відповідь стає верифікованою. Після успіху ChatGPT RAG перетворився на стандартний метод прив'язки мовних моделей до актуальних, перевіряємих джерел — основу майже всіх застосунків, де можна спілкуватися зі своїми документами. Чесна оцінка: RAG зменшує галюцинації, але не усуває їх. Якщо знайдене є хибним або модель неправильно розуміє знахідку, вона все одно помиляється. Він надає посилання, а не справжнє розуміння — і спирається на більш ранні дослідження у сфері пошуку.
Закони масштабування нейронних мереж
Джаред Каплан, Сем МакКандліш, Том Браун та Даріо Амодей відкривають у січні 2020 року фундаментальні математичні закони нейронного масштабування і тим самим суттєво змінюють розробку великих мовних моделей. Основоположна робота OpenAI та Університету Джонса Гопкінса показує, що продуктивність підпорядковується степеневим законам залежно від розміру моделі, обсягу набору даних та обчислювальної потужності — з тенденціями протягом семи порядків величини. Елегантні рівняння вперше дають змогу систематично прогнозувати розподіл ресурсів і утверджують парадигму 'що більше, то краще'. Ці математичні основи безпосередньо привели до успіху GPT-3 і перетворили розробку ШІ з експериментального методу спроб і помилок на науково обґрунтоване та передбачуване масштабування. Конкретне правило розподілу ресурсів Каплана — суттєво збільшувати розмір моделі, але лише незначно збільшувати обсяг даних — було скориговано у 2022 році статтею Chinchilla від DeepMind: оптимальне за обчислювальними витратами навчання вимагає значно більше навчальних даних, ніж спочатку рекомендувалося.
GPT-3: модель з 175 мільярдами параметрів
Прорив до навчання за малою кількістю прикладів та емерджентних можливостей ШІ. 28 травня 2020 року команда OpenAI на чолі з Томом Брауном представила значущу статтю 'Language Models are Few-Shot Learners' — GPT-3 зі 175 мільярдами параметрів, більш ніж у 100 разів більшою, ніж GPT-2. Масштабування виявило емерджентні здатності: модель могла розв'язувати нові завдання лише за кількома прикладами без тонкого налаштування. Від перекладів через словесні головоломки до тризначної арифметики GPT-3 демонстрував вражаючу різноманітність. Людські оцінювачі ледь могли відрізнити новинні статті, згенеровані GPT-3, від справжніх. Завдяки лише навчанню в контексті (In-Context Learning) GPT-3 наближався до найкращих результатів в окремих підзавданнях SuperGLUE — однак на загальному тесті залишався з приблизно 71,8 балами помітно позаду тонко налаштованих лідерів (близько 89). 31 дослідник OpenAI (Том Браун і 30 співавторів) довели: масштабне збільшення кількості параметрів може породжувати якісно нові здатності. GPT-3 заклав фундамент для ChatGPT та сучасної ери великих мовних моделей.
DDPM: Дифузійні моделі утверджені
Математичний фундамент сучасної генерації зображень через процеси шумозаглушення. У червні 2020 року Джонатан Хо, Аджай Джейн та Пітер Аббіл опублікували впливову статтю «Denoising Diffusion Probabilistic Models» — клас моделей латентних змінних, натхненних нерівноважною термодинамікою. Їхня інновація полягала у зваженій варіаційній межі та звʼязку між дифузійними моделями та Denoising Score Matching з динамікою Ланжевена. Результати були вражаючими: FID-score 3,17 на CIFAR-10 та Inception-score 9,46. DDPM встановили прогресивний підхід втратної декомпресії, який можна інтерпретувати як узагальнення авторегресивного декодування. Ця робота заклала математичний фундамент для Stable Diffusion та всієї сучасної генерації зображень з тексту.
Vision Transformer: 'An Image is Worth 16x16 Words'
Архітектура Transformer у комп'ютерному зорі. 22 жовтня 2020 року команда Alexey Dosovitskiy з Google Research опублікувала статтю 'An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale'. Vision Transformer (ViT) показав, що згорткові нейронні мережі (CNN) не є необхідними — чисті Transformer можуть застосовуватися безпосередньо до послідовностей фрагментів зображень. Ключовий висновок ('at Scale'): лише після великомасштабного попереднього навчання на величезних наборах даних (ImageNet-21k або JFT-300M) ViT досягає порівнянних або кращих результатів, ніж найсучасніші CNN; на середніх наборах даних без такого попереднього навчання ViT натомість показує гірші результати. Система розбиває зображення на фрагменти — як правило, 16x16 пікселів, але залежно від варіанту можуть бути й інші розміри — обробляє їх як послідовності токенів і застосовує стандартну архітектуру Transformer. Стала очевидною універсальність архітектури Transformer: та сама технологія, що змінила обробку природної мови (NLP), працює і в комп'ютерному зорі. ViT надихнув нове покоління моделей комп'ютерного зору на основі уваги та продемонстрував силу уніфікованих архітектур.
Успіх AlphaFold
Розвʼязання 50-річної біологічної загадки за допомогою штучного інтелекту. У листопаді 2020 року AlphaFold 2 від DeepMind домінував на змаганні CASP14 з точністю, яку вчені назвали «приголомшливою» та «трансформативною». Система досягла GDT-балу 92,4 зі 100 у прогнозуванні структури білків — точності, що відповідає експериментальним методам, таким як рентгенівська кристалографія. При цьому AlphaFold значно перевершив 145 інших команд і розвʼязав проблему, яка турбувала біологію з 1970-х років. Нейромережева архітектура на основі механізму уваги може за кілька днів передбачити, як згортаються білки — процес, фундаментальний для розуміння життя. За це досягнення Деміс Хассабіс та Джон Джампер отримали Нобелівську премію з хімії 2024 року.
CLIP: міст між зображенням і мовою
Того ж дня, коли OpenAI представив DALL-E — 5 січня 2021 року, — з'явилася, мабуть, доленосніша модель: CLIP. Вона навчилася не створювати зображення, а розуміти зображення і мову в одному просторі. З приблизно 400 мільйонів пар зображення-текст із мережі команда Алека Радфорда навчала два енкодери у контрастному режимі, поки відповідні зображення і підписи до них не опинялися в одній точці спільного векторного простору. Ефект виявився вражаючим: CLIP міг класифікувати зображення в режимі zero-shot — категорії просто описувалися словами, без жодного навчання на конкретному завданні. Так він досяг 76,2 % на ImageNet, нарівні з ResNet-50, навченим на 1,28 мільйона підписаних прикладів, — жодного з яких CLIP не бачив. Для загальної картини: CLIP став фундаментом хвилі перетворення тексту на зображення — DALL-E 2 базується на вбудовуваннях CLIP, а Stable Diffusion безпосередньо використовує текстовий енкодер CLIP. Оцінка: контрастні моделі зображення-текст існували раніше (ConVIRT вийшов кількома місяцями раніше) — внесок CLIP полягав у масштабі, широті zero-shot і відкритих вагах, що породили ціле екосистему.
DALL-E створює зображення з тексту
Важливий прорив у генерації зображень за текстом і значний крок уперед для творчих можливостей ШІ. 5 січня 2021 року OpenAI представила DALL-E — систему, що генерує зв'язні й нерідко вражаюче творчі зображення з текстових описів. Моделі 'текст-у-зображення' існували й раніше (наприклад, alignDRAW 2015 або GAN-підходи на кшталт StackGAN і AttnGAN), однак DALL-E вивела зв'язність та різноплановість на новий рівень. Побудована на 12-мільярдній параметричній версії GPT-3, DALL-E довела, що межу між розумінням мови й зображень можна подолати. Система навчалася на 250 мільйонах пар 'зображення-текст' із Інтернету й розвинула помітні можливості: антропоморфізацію тварин, правдоподібне поєднання непов'язаних концепцій і навіть відтворення тексту в зображеннях. Марк Рідл із Технологічного інституту Джорджії зазначив, що результати є 'помітно більш зв'язними', ніж у будь-якої попередньої системи 'текст-у-зображення'. DALL-E успішно розширила мовне розуміння GPT у візуальну сферу й відкрила абсолютно нові виміри творчих можливостей ШІ.
Заснування Anthropic
Коли колишні керівники OpenAI захотіли реалізувати власне бачення безпечного ШІ. У січні 2021 року Даріо та Даніела Амодеї разом із п'ятьма іншими колишніми дослідниками OpenAI — зокрема Томом Брауном, Джаредом Капланом та Крісом Олаєм — заснували Anthropic; загалом сім співзасновників. Брат і сестра раніше обіймали ключові посади в OpenAI — Даріо як VP of Research. Їхня нова компанія мала зосередитися на безпеці ШІ та розробці надійних, інтерпретованих систем. Розробивши Constitutional AI, Anthropic запропонував інноваційний підхід до навчання ШІ-систем на основі принципів, а не лише людського зворотного зв'язку. Claude, їхній ШІ-асистент, став одним із провідних конкурентів ChatGPT.
GitHub Copilot: ШІ-напарник програміста
Демократизація ШІ-підтримуваної розробки програмного забезпечення для мільйонів розробників. 29 червня 2021 року GitHub анонсував Technical Preview Copilot — першого ШІ-напарника програміста, на базі OpenAI Codex. На основі варіанту GPT-3, натренованого на мільярдах рядків публічного коду з репозиторіїв GitHub, Copilot міг генерувати доповнення коду та цілі функції з коментарів. Базова модель Codex досягла 28.8% успішності з першої спроби у бенчмарку HumanEval — значно краще за GPT-3 з 0%. Особливо вражаюче: зі 100 спробами семплювання показник успішності зріс до 70.2%. Copilot особливо добре працював з Python, JavaScript, TypeScript, Ruby та Go. Обмежений Technical Preview викликав величезний інтерес та утвердив ШІ-асистоване програмування як життєздатний інструмент. Copilot фундаментально змінив досвід розробників та проклав шлях для нового покоління ШІ-підтримуваних інструментів кодування.
OpenAI Codex: ШІ програмує для людей
10 серпня 2021 року OpenAI випустила Codex через API та суттєво змінила розробку програмного забезпечення — масштабний ШІ для генерації коду. Базуючись на GPT-3, але навчений на 159 гігабайтах коду Python з 54 мільйонів репозиторіїв GitHub, Codex перетворював природну мову на функціональний код. 'Створи функцію для простих чисел' за лічені секунди ставав справжнім кодом Python. Ще раніше, 29 червня 2021 року, завдяки партнерству з GitHub з'явилася технічна попередня версія Copilot — ШІ-асистент з програмування, що вже працював на ранній версії Codex. Codex володів більш ніж дюжиною мов програмування: Python, JavaScript, Go, Ruby, Swift та іншими. У еталонному тесті HumanEval Codex-S, відрегульований для коду, вирішував близько 37 % завдань з першої спроби (pass@1) — базова модель досягала близько 29 %; вражаюче, але не міра для довільних запитів. GitHub Copilot став значним підвищенням продуктивності для розробників. Codex довів: ШІ може підтримувати творчу, складну когнітивну роботу. Від генерації коду до розуміння коду — Codex відкрив двері до розробки програмного забезпечення за допомогою ШІ.
InstructGPT: міст до ChatGPT
Між методом і світовим успіхом лежав вирішальний проміжний крок — і він мав назву InstructGPT. На початку 2022 року OpenAI показав у статті Training language models to follow instructions with human feedback, як змусити GPT-3 справді робити те, чого хочуть користувачі: за допомогою навчання з підкріпленням на основі людського зворотного зв'язку (RLHF). Приголомшливий результат: InstructGPT лише з 1,3 мільярда параметрів люди воліли GPT-3 зі 175 мільярдами параметрів, який у сто разів більший. Різницю робила не сира розмірність, а орієнтація на намір. InstructGPT став безпосереднім технічним мостом між ідеєю RLHF (2017) і ChatGPT, який наприкінці 2022 року популяризував цей самий метод. Для чесної оцінки: InstructGPT не винайшов RLHF — це зробила стаття 2017 року, — але він уперше у великому масштабі показав, наскільки узгодженість робить мовну модель кориснішою.
Chinchilla: масштабування переосмислено
У 2022 році DeepMind поставив незручне запитання: а чи правильно ми взагалі будуємо наші ШІ-моделі? У статті Training Compute-Optimal Large Language Models команда Джордана Гоффманна показала, що найбільші мовні моделі того часу — GPT-3, Gopher — мали багато параметрів, але замало навчальних даних. Їхнє виправлення, відоме сьогодні як закони масштабування Chinchilla: при заданому обчислювальному бюджеті розмір моделі і кількість даних мають зростати приблизно однаково. Для доказу вони навчили Chinchilla на 70 мільярдах параметрів і 1,4 трильйона токенів — і перевершили вчетверо більший Gopher (280 мільярдів). Це змінило підхід до навчання практично кожної наступної провідної моделі. Для чесної оцінки: Chinchilla не винайшов закони масштабування, а скоригував попередні від Каплана (2020); пізніші моделі, як-от Llama, свідомо перевищували оптимальне за обчисленнями співвідношення, щоб бути ефективнішими під час використання.
PaLM: Велетень Google із 540 мільярдами параметрів
У 2022 році Google показав, наскільки далеко можна масштабувати мовні моделі: PaLM — Pathways Language Model — мав 540 мільярдів параметрів і навчався за допомогою системи Pathways Google на тисячах чіпів TPU. Вражала не стільки колосальна кількість параметрів, скільки те, на що PaLM був здатен. Завдяки так званим підказкам ланцюжка думок (Chain-of-Thought Prompts), коли модель записує хід вирішення крок за кроком, вона розв'язувала багатоетапні текстові завдання і навіть пояснювала суть жартів. PaLM став символом ідеї емерджентних здібностей — навичок, що несподівано з'являються лише при досягненні певного розміру моделі. Це був пік епохи масштабування Google і попередник PaLM 2 та Gemini. Чесна оцінка: 540 мільярдів параметрів — надзвичайно дорого, і PaLM так і не вийшов як відкрита модель. Теза про емерджентні здібності також є дискусійною — деякі з цих стрибків частково є артефактом обраного методу вимірювання.
Stable Diffusion: Генерація зображень з відкритим кодом
Демократизація ШІ-генерації зображень через першу потужну модель з відкритим кодом. 22 серпня 2022 року Stability AI випустила Stable Diffusion та суттєво змінила доступ до просунутої технології text-to-image. Як перша модель з відкритим кодом свого класу, Stable Diffusion могла генерувати фотореалістичні зображення 512x512 пікселів на споживчих GPU — важливий прогрес для швидкості та доступності. Заснована на Latent Diffusion Models (LDMs), система ітерує через 'de-noising' у латентних просторах замість прямої маніпуляції пікселями. З 860 мільйонами параметрів у U-Net та 123 мільйонами у текстовому енкодері вона залишалася відносно легкою, незважаючи на високу продуктивність. Доступний на GitHub вихідний код дозволив вибухово зростаючій спільноті розробляти незліченні варіанти та інструменти. Stable Diffusion прорвала монополію пропрієтарних систем та зробила високоякісну ШІ-генерацію зображень доступною для кожного.
OpenAI випускає Whisper
Коли розпізнавання мовлення нарешті стало надійним — і доступним для всіх. 21 вересня 2022 року OpenAI опублікував Whisper — систему розпізнавання мовлення, навчену для надійної роботи з різними мовами, акцентами та фоновими шумами. На відміну від попередніх систем, навчених на чистих аудіоданих, Whisper використовував 680 000 годин багатомовних даних з Інтернету. Результат: система, здатна транскрибувати 99 мовами і при цьому конкурувати з комерційними рішеннями. OpenAI надав Whisper у відкритому доступі (open source) — подарунок розробникам по всьому світу, що відкрив можливості для незліченних застосунків.
ChatGPT позначає поворотний момент у використанні ШІ
Момент, коли ШІ став доступним для всіх і розпочалася нова ера. 30 листопада 2022 року OpenAI оприлюднила ChatGPT як безкоштовний Research Preview — без масштабного маркетингу і з невисокими очікуваннями. Те, що відбулося далі, перевершило всі прогнози: за 5 днів ChatGPT досяг одного мільйона користувачів, а за два місяці — 100 мільйонів. Тоді це було найшвидше зростання аудиторії у споживчих застосунках (у липні 2023 року рекорд побив Threads від Meta). Побудований на базі GPT-3.5, ChatGPT вперше надав широкій аудиторії прямий доступ до потужного ШІ без технічних бар'єрів. Кевін Русе з New York Times назвав його 'найкращим ШІ-чат-ботом, будь-коли відкритим для широкого загалу'. ChatGPT демократизував штучний інтелект і перетворив наукову галузь на повсякденний інструмент. Ця публікація ознаменувала початок нинішньої хвилі генеративного ШІ.
Constitutional AI — безпека ШІ через конституцію
У грудні 2022 року Anthropic представила Constitutional AI (CAI) — новий метод розробки нешкідливих, корисних та чесних ШІ-систем. 'Конституція' з етичних принципів дозволяє ШІ самостійно критикувати й удосконалювати власні відповіді на шкідливий контент — без людських мітих для оцінки саме цієї шкоди. (Пряме посилання на цих принципах на Загальну декларацію прав людини ООН та інші документи про основні права Anthropic описала лише в травні 2023 року у 'Claude's Constitution'; оригінальна стаття використовувала прагматично зібраний набір принципів.) Інноваційний метод RLAIF (Reinforcement Learning from AI Feedback) замінює людський зворотний зв'язок у питаннях нешкідливості на ШІ-самокритику — корисність же надалі навчається на основі людських даних переваг (RLHF). Таким чином CAI встановлює підхід 'безпека передусім' як альтернативу суто продуктивнісному підходу ChatGPT і прокладає шлях до відповідальної розробки ШІ.
NIST AI Framework: США визначають надійний ШІ
26 січня 2023 року Національний інститут стандартів і технологій США (NIST) опублікував перший комплексний Framework з управління ризиками штучного інтелекту (AI RMF 1.0) — відповідь Америки на глобальне регулювання ШІ. Після 18 місяців розробки за участю понад 240 організацій з промисловості, науки та громадянського суспільства NIST вперше визначив загальнодержавні стандарти для надійного ШІ. Framework встановлює чотири основні функції: Govern, Map, Measure, Manage — та сім характеристик надійного ШІ: безпечний, стійкий, пояснюваний, захищений з точки зору приватності, справедливий, прозорий та надійний. Як добровільний стандарт він має на меті мінімізувати ризики ШІ для людей, організацій і суспільства. Публікація пішла слідом за AI Bill of Rights Байдена (2022) і пізніше була доповнена його AI Executive Order (жовтень 2023). AI RMF було створено за законодавчим дорученням National AI Initiative Act of 2020 — NIST тут продовжив свою усталену роль федерального органу зі стандартів. Framework став основою для галузевих стандартів та міжнародної координації — противагою державному контролю ШІ в Китаї та регуляторному підходу Європи.
LLaMA: фундаментальна модель з відкритим вихідним кодом
Демократизація великих мовних моделей через відкриті дослідницькі моделі. 24 лютого 2023 року Meta AI опублікувала LLaMA (Large Language Model Meta AI) — колекцію фундаментальних моделей від 7B до 65B параметрів, навчених виключно на загальнодоступних даних. Визначальна стаття 'LLaMA: Open and Efficient Foundation Language Models' довела, що найсучасніших результатів можна досягти без пропрієтарних наборів даних. LLaMA дала дослідникам без доступу до великої інфраструктури можливість вивчати розширені мовні моделі. Код для інференсу було опубліковано під ліцензією GPLv3, тоді як доступ до ваг моделей надавався у кожному конкретному випадку для академічних досліджень. Навчена на трильйонах токенів і представлена в різних розмірах, LLaMA адресувала різні апаратні вимоги. Ця робота каталізувала хвилю відкритих досліджень у сфері великих мовних моделей та надихнула численні похідні моделі у спільноті відкритого програмного забезпечення.
Claude та Constitutional AI
Представлення ШІ з вбудованою системою цінностей та етичними принципами. У березні 2023 року Anthropic представив Claude — ШІ-асистента на основі Constitutional AI, який встановив новий підхід до безпеки ШІ. На відміну від традиційних систем, Claude навчається через двофазний метод: спочатку модель критикує та покращує власні відповіді на основі конституції етичних принципів, потім вона удосконалюється через ШІ-згенерований зворотний звʼязок — без людських оцінок для уникнення шкоди. Результат — система, яка діє водночас корисно та безпечно. Anthropic одночасно випустила Claude та Claude Instant, де останній є швидшим та дешевшим варіантом. Цей метод Constitutional AI виявився Парето-покращенням порівняно з людським зворотним звʼязком і відкрив нові шляхи для масштабованого ШІ-нагляду.
GPT-4: мультимодальна модель ШІ
Прорив до людського рівня у професійних та академічних тестах. 14 березня 2023 року OpenAI представив GPT-4 — Large Multimodal Model, що обробляє текстові та візуальні вхідні дані та досягає людського рівня в різних дисциплінах. Поліпшення були суттєвими: тоді як GPT-3.5 склав іспит адвоката (Bar Exam) в нижніх 10%, GPT-4 досяг верхніх 10%. На математичному тесті SAT результат покращився з 70-го до 89-го перцентиля. Після шести місяців ітеративного вирівнювання (alignment) з висновками програми adversarial testing та відгуків ChatGPT весь стек глибинного навчання було перебудовано. Мультимодальні можливості дозволяють обробляти документи, діаграми та знімки екрана з тією самою якістю, що й чисто текстові вхідні дані. GPT-4 встановив нові стандарти безпеки та продуктивності ШІ.
Midjourney V5: Фотореалістичне мистецтво ШІ
Фотореалістична генерація зображень ШІ досягає нового рівня якості та суттєво змінює творчу індустрію. 15 березня 2023 року Midjourney випустила версію 5 і здійснила якісний стрибок, який користувачі описували як 'моторошний' та 'надто досконалий'. Альфа-версія вперше змогла генерувати фотореалістичні зображення, що майже не відрізнялися від справжніх фотографій. Особливо примітним було суттєве покращення хронічної проблеми з неправильними руками — V5 у більшості випадків коректно зображувала п'ять пальців. Джулі Вілланд, графічний дизайнер, порівняла цей досвід з 'нарешті отриманням окулярів після тривалого ігнорування поганого зору' — раптово все стало видно в якості 4K [Джерело: Ars Technica, березень 2023]. Покращена чутливість до промптів забезпечила точніший творчий контроль, тоді як автоматичне масштабування збільшувало базові зображення розміром 1024x1024 пікселі без додаткових витрат на GPU. V5 спровокувала інтенсивні дискусії про майбутнє людської творчості.
Указ Байдена щодо ШІ — перше комплексне регулювання США
Президент Байден підписав 30 жовтня 2023 року Executive Order 14110 про 'безпечний, захищений та надійний розвиток і використання штучного інтелекту' — перше комплексне регулювання ШІ у США та, обсягом 110 сторінок, найдовший виконавчий указ в історії. Цей масштабний указ зобов'язував розробників потужних ШІ-систем розкривати результати тестування безпеки та встановлював суворі стандарти червоних команд (Red Team) через NIST. Він захищав від шахрайства на основі ШІ через автентифікацію контенту та водяні знаки, адресував ризики для критичної інфраструктури та біологічні загрози. На момент підписання цей указ встановлював глобальні стандарти для відповідальної розробки ШІ та позиціонував США як піонера у сфері управління ШІ. Однак його дія виявилася нетривалою: 20 січня 2025 року президент Трамп скасував EO 14110 через Executive Order 14148 — таким чином цей документ відображає регуляторний стан 2023 року.
Лист про паузу та Блетчлі: безпека ШІ стає глобальною
У 2023 році, в першому потрясінні після ChatGPT, світ намагався виробити правила для раптово могутньої технології. У березні тисячі підписантів — серед них Йошуа Бенджіо та Ілон Маск — у відкритому листі Future of Life Institute закликали до шестимісячної паузи в навчанні ШІ-систем потужніших за GPT-4. Паузи не сталося, але лист вивів тему на глобальну порядку денну. У листопаді відбувся перший Глобальний саміт з безпеки ШІ у британському Блетчлі-Парку — свідомо на місці, де Тюрінг колись зламував шифри. 28 держав і ЄС, зокрема США та Китай, підписали Блетчлійську декларацію про ризики передового ШІ. Вперше суперницькі держави спільно говорили про безпеку ШІ — початок серії самітів (Сеул 2024, Париж 2025). Для чесної оцінки: паузи так і не було, а Блетчлійська декларація є необов'язковою — обидва заходи поставили теми на порядок денний, але не створили норм із механізмом примусового виконання.
Mistral і Mixtral: Відкриті моделі Європи
Поки 2023 рік здебільшого перебував під знаком американських технологічних гігантів, із Парижа вийшов справжній претендент: Mistral AI, заснований навесні 2023 року Артуром Меншем (раніше — Google DeepMind), а також Ґійомом Ламплем і Тімоте Лакруа (раніше — Meta). Вже у вересні невелика модель Mistral 7B приголомшила фахівців — вільно доступна під ліцензією Apache 2.0, вона виявилася сильнішою за помітно більшу Llama 2 13B. У грудні з'явилася Mixtral 8x7B: відкрита модель із архітектурою Mixture-of-Experts, яка на багатьох завданнях досягала рівня GPT-3.5, але активувала лише незначну частину своїх параметрів на один запит (близько 13 із 47 мільярдів). Mistral стала європейським символом відкритих моделей і залучила мільярди інвестицій. Чесна оцінка: відкриті ваги — це не те саме, що Open Source: навчальні дані та код залишаються закритими. І Mixtral досягла рівня GPT-3.5, а не тодішньої топ-моделі GPT-4; сама архітектура Mixture-of-Experts є значно старішою.
Google Gemini: мультимодальна родина ШІ
Відповідь Google на ChatGPT та прорив до нативної мультимодальності. 6 грудня 2023 року Google оголосив про Gemini 1.0 — родину ШІ, розроблену з нуля для мультимодальності. Співпраця між DeepMind і Google Brain втілилась у трьох розмірах моделей: Gemini Ultra для надскладних завдань, Gemini Pro як збалансоване рішення та Gemini Nano для застосувань безпосередньо на пристрої. На відміну від систем, розширених ретроспективно, Gemini спочатку розроблявся з нативним розумінням мовлення, аудіо, коду та відео. У шести з восьми тестах Gemini Pro перевершив стандарт GPT-3.5, зокрема в тестах MMLU. У день оголошення звичайний Bard отримав нові можливості завдяки Gemini Pro; потужніший Bard Advanced з Gemini Ultra Google анонсував на початок 2024 року. Gemini позначив стратегічну відповідь Google на домінування OpenAI та встановив мультимодальний ШІ як новий стандарт для великих мовних моделей.
Втілений ШІ: моделі отримують тіло
Роками великі ШІ-моделі існували лише на екранах — писали тексти, малювали зображення, вели розмови. У 2024 році це почало змінюватися: він став роком втіленого ШІ. Ідея полягає в тому, щоб помістити ті самі базові моделі, які розуміють мову і зображення, у справжні тіла — насамперед у гуманоїдних роботів. Компанія Figure об'єдналася з OpenAI і показала робота, який говорить, бачить і маніпулює предметами. NVIDIA представила Project GR00T — базову модель спеціально для гуманоїдів, а молоді фірми на кшталт Physical Intelligence отримували оцінку в мільярди. Багато хто вже говорив про ChatGPT-момент для робототехніки. Для чесної оцінки: переважно це були демонстрації та оголошення, а не машини, що надійно працюють у повсякденному житті. Фізичний світ набагато складніший для робота, ніж екран, — спритність, безпека і надійність залишаються невирішеними проблемами.
Waymo: Безпілотне таксі стає буденністю
Понад десятиліття автономне керування автомобілем було хрестоматійним прикладом обіцянок ШІ, що постійно відкладалися. У 2024 році воно стало відчутним: Waymo, дочірня компанія Google з розробки роботизованих автомобілів, вперше у великому масштабі зробила безпілотні таксі доступними для широкої публіки — у Сан-Франциско, Лос-Анджелесі й Фінксі. Влітку 2024 року компанія повідомила про понад 100 000 оплачених поїздок на тиждень, повністю без водія-страхувальника за кермом. Після років, повних оголошень, це був перший переконливий доказ того, що автономне керування може функціонувати як справжній, повсякденний сервіс. Чесна оцінка: Waymo їздить лише у вузьких, ретельно картографованих міських районах — не скрізь і не за будь-якої погоди. Збої та зупинки автомобілів досі трапляються, а сама діяльність є дорогою. Повністю автономне керування всюди залишається невирішеним; відхід конкурента Cruise після серйозної аварії у 2023 році показав, наскільки крихкою ця технологія ще є.
Sora: відео, згенеровані ШІ з тексту
Прогрес до фотореалістичних відео, згенерованих ШІ, та їх вплив на кіноіндустрію. 15 лютого 2024 року OpenAI представила Sora — модель перетворення тексту у відео, яка генерує детальні HD-відео тривалістю до однієї хвилини з коротких описів. Названа на честь японського слова 'небо', Sora символізує 'безмежний творчий потенціал'. Як дифузійний трансформер Sora адаптує технологію DALL-E 3 для забезпечення часової узгодженості і нерідко — хоча й не завжди надійно — симулює фізично правдоподібний рух. Демонстраційні відео перевершили всі наявні системи перетворення тексту у відео і встановили нові стандарти для ШІ-креативності. Режисер Тайлер Перрі зупинив розширення своєї кіностудії на 800 мільйонів доларів через занепокоєння впливом Sora на галузь. OpenAI дотримувалася обережного підходу з тестуванням red team на предмет дезінформації та упередженості перед ширшим випуском.
Сімейство Claude 3 з мультимодальними можливостями
Представлення сімейства ШІ з можливістю бачення та трьома спеціалізованими моделями. 4 березня 2024 року Anthropic представила сімейство Claude 3: Opus, Sonnet та Haiku — три моделі з різними сильними сторонами для різних випадків використання. Центральною функцією була складна обробка зображень, яка може аналізувати фотографії, графіки, діаграми та технічні креслення. Claude 3 Opus досягла нових найкращих результатів у когнітивних завданнях та перевершила конкурентів у бенчмарках, таких як MMLU та GPQA. Sonnet пропонувала ідеальний баланс між інтелектом та швидкістю для підприємств, тоді як Haiku вражала майже миттєвим часом відгуку. З контекстним вікном у 200 000 токенів (розширюваним до 1 мільйона) та доступністю у 159 країнах Claude 3 встановила нові стандарти для мультимодальних ШІ-систем.
Devin: перший автономний ШІ-інженер з розробки програмного забезпечення
Народження повністю автономної розробки програмного забезпечення за допомогою штучного інтелекту. 12 березня 2024 року Cognition Labs представила Devin — позиціонований компанією як перший у світі повністю автономний ШІ-інженер з розробки програмного забезпечення. Система здатна самостійно планувати, клонувати репозиторії, писати код, налагоджувати, тестувати й навіть розгортати його. На складному бенчмарку SWE-Bench Devin досяг 13,86% успішності при роботі з реальними задачами GitHub — колосальний стрибок порівняно з попереднім рекордом у 1,96%. Стартап отримав оцінку близько 350 мільйонів доларів у ранньому раунді фінансування; невдовзі після запуску з'явилися повідомлення про оцінку близько 2 мільярдів доларів. Попри вражаючі результати, тести виявили й обмеження: лише 3 з 20 завдань вирішено успішно, нерідко з непередбачуваними збоями.
AlphaFold 3: ШІ передбачає взаємодію молекул
Через чотири роки після прориву AlphaFold 2 компанія Google DeepMind у травні 2024 року зробила наступний крок — разом із дочірньою фірмою Isomorphic Labs. AlphaFold 2 передбачав, як окремий білок згортається у тривимірну форму. AlphaFold 3 іде на вирішальний крок далі: він моделює, як білки взаємодіють з іншими молекулами — з ДНК, РНК, іонами та малими молекулами-ліками. Саме ця взаємодія є ключовою для фармацевтичних досліджень, адже дозволяє комп'ютерно оцінити, як ліки зв'язуються зі своїм цільовим білком. Для чесної оцінки: передбачення вражаючі, але не бездоганні — їхня точність варіюється залежно від типу молекули, і в лабораторії їх досі необхідно перевіряти. Крім того, AlphaFold 3 спочатку з'явився без відкритого вихідного коду — лише як обмежений вебсервіс, що викликало критику щодо відтворюваності результатів у наукових колах.
AlphaProof: ШІ здобуває срібло на математичній олімпіаді
Математика довго вважалася вищим пілотажем, де ШІ зазнає поразки, — надто творчою, надто залежною від справжнього розуміння. У липні 2024 року Google DeepMind поставив знак оклику: система AlphaProof разом з AlphaGeometry 2 розв'язала чотири із шести задач Міжнародної математичної олімпіади. Це відповідало рівню срібної медалі — лише одне очко не вистачало до золота. Особливість підходу: AlphaProof формулює доведення формальною мовою Lean, яка робить кожен крок машинно перевірним, — тобто ШІ не може шахраювати. Навчався він методом навчання з підкріпленням. Вперше ШІ досяг медального рівня на цьому престижному змаганні. Для чесної оцінки: це були не справжні умови змагань. Там, де учасникам дають лише чотири з половиною години, ШІ інколи рахував цілими днями, а фахівці вручну перекладали задачі формальною мовою. Дві комбінаторні задачі залишилися нерозв'язаними.
Акт ЄС про ШІ: перший комплексний закон про штучний інтелект
Перше у світі комплексне регулювання штучного інтелекту набуває чинності. 1 серпня 2024 року Акт ЄС про ШІ набув юридичної сили — нормативна база, заснована на оцінці ризиків, з 180 преамбульними положеннями та 113 статтями, що охоплює весь життєвий цикл систем ШІ. Закон класифікує системи ШІ за чотирма рівнями ризику: неприпустимі застосування забороняються, системи високого ризику в освіті, зайнятості та судочинстві підпадають під детальні вимоги щодо відповідності, системи обмеженого ризику зобов'язані виконувати вимоги прозорості, а переважна більшість із мінімальним ризиком залишається практично нерегульованою. Окремі правила діють для базових GPAI-моделей, таких як GPT, що живлять, зокрема, ChatGPT. Екстериторіальна дія закону охоплює і постачальників за межами ЄС, якщо вони обслуговують європейських користувачів. За порушення загрожують штрафи до 35 мільйонів євро або 7% річного світового обороту. Як і GDPR у 2018 році, Акт про ШІ може встановити глобальні стандарти і визначити, як ШІ впливатиме на наше життя. Поетапне впровадження розпочинається у 2025 році і повністю завершується до 2027 року.
OpenAI O1 — прогрес у міркуванні
12 вересня 2024 року OpenAI спочатку випускає o1-preview (та o1-mini) і суттєво розширює можливості ШІ у міркуванні завдяки ланцюжку думок (Chain-of-Thought), послідовність якого навчається через навчання з підкріпленням. O1 — перша широко доступна мовна модель, що систематично 'думає' перед відповіддю: за допомогою прихованого ланцюжка думок вона аналізує проблеми крок за кроком. Цей новий підхід відкриває додатковий вимір масштабування: масштабування під час виконання (Test-Time Scaling), де триваліше 'обдумування' призводить до кращих результатів. Повна модель o1 досягає в еталонних тестах результатів рівня доктора наук з фізики, хімії та біології, а також вирішує 83 % завдань Американської запрошувальної математичної олімпіади (GPT-4o: 13 %). Технологія демонструє, що ШІ може розвивати суттєво покращені здібності до розв'язання задач завдяки структурованому міркуванню.
Нобелівські премії 2024 з ШІ
У жовтні 2024 сталося щось безпрецедентне: відразу дві Нобелівські премії з природничих наук відзначили основи сучасного ШІ. 8 жовтня Нобелівська премія з фізики була присуджена Джону Хопфілду і Джеффрі Хінтону — за фундаментальні відкриття, що уможливлюють машинне навчання за допомогою штучних нейронних мереж. Те, що саме фізика відзначила нейронні мережі, викликало дискусії — проте натхнені фізикою мережі Хопфілда (1982) і методи навчання Хінтона справді заклали фундамент. Наступного дня Нобелівська премія з хімії дісталася Девіду Бейкеру (за комп'ютерне проектування білків) та Демісу Гасабісу й Джону Джамперу з DeepMind — за AlphaFold, що вирішив 50-річну проблему згортання білків. Уперше фундаментальні дослідження в галузі ШІ були відзначені на найвищому рівні науки. Примітно: Хінтон, щойно оголошений лауреатом, скористався трибуною, щоб водночас попередити про ризики технології, яку він сам допоміг створити.
OpenAI o3: Прорив на ARC-AGI
Наприкінці 2024 року, 20 грудня, OpenAI оголосив про o3 — наступника o1 і доказ того, що міркування під час виконання (Test-Time-Scaling) можна масштабувати далі. Найбільше уваги привернув один показник: o3 набрав 87,5% на ARC-AGI — тесті, що навмисно розроблений так, щоб його не можна було скласти завдяки заучуванню напам'ять; попередні моделі тут були близькі до нуля. Таким чином o3 уперше наблизився до людського рівня на цьому бенчмарку, а також блиснув у математиці та програмуванні. Разом із o1 і DeepSeek R1 o3 ознаменував еру моделей-мислителів (o3-mini вийшов наприкінці січня 2025, повноцінний o3 — у квітні). Чесна оцінка: 87,5% були отримані у режимі максимальної продуктивності з колосальними — і дуже дорогими — обчислювальними витратами на кожне завдання; організатори ARC Prize прямо наголосили, що o3 не є AGI і помітно програє на складнішому наступнику ARC-AGI-2.
Агентний ШІ стає масовим
У 2024–2025 роках змінилося саме призначення ШІ: від відповідей — до дій. Перші кроки зробив Anthropic у жовтні 2024 року з Computer Use — як перша з провідних ШІ-лабораторій вона представила модель, що самостійно керує комп'ютером: дивиться на екран, рухає мишею, клацає, друкує. У січні 2025 року OpenAI запустив Operator — агент, який самостійно переглядає вебсторінки і виконує завдання, а невдовзі — Deep Research, що проводить багатоетапні дослідження і пише підкріплені джерелами звіти. Чат-бот, що видає текст, перетворився на систему, яка діє від імені користувача, — якісний зсув, на який ще в 2024 році натякав Devin. Для чесної оцінки: перші версії були повільними, схильними до помилок і часто обмеженими вузькими завданнями; системи, які у 2025 році продавали як агентів, рекламувалися куди голосніше, ніж їхня надійність виправдовувала.
DeepSeek-R1: ШІ-шок з Китаю
Наприкінці січня 2025 року ШІ-модель уперше помітно здивувала світові ринки. Китайська лабораторія DeepSeek 20 січня 2025 року оприлюднила R1 — модель міркування на рівні o1 від OpenAI, але з відкритими вагами (ліцензія MIT) і навчена за частку очікуваних витрат. Це стало можливим завдяки масштабному навчанню з підкріпленням на базовій моделі DeepSeek-V3. Коли через тиждень застосунок DeepSeek очолив американські чарти, настрій змінився: 27 січня Nvidia втратила близько 17 % своєї вартості — приблизно 600 мільярдів доларів за один день, найбільша одноденна втрата в історії американського фондового ринку, — адже інвестори засумнівалися, чи справді провідний ШІ потребує безкінечно дорогих чипів. R1 одночасно похитнув кілька усталених переконань: що лише американські гіперскейлери здатні боротися на вершині, що моделі міркування залишаються закритими і що більша обчислювальна потужність — єдиний шлях уперед. Для чесної оцінки: поширювана цифра в кілька мільйонів доларів стосується лише фінального тренувального запуску базової моделі V3 (а не самого R1 і не загальних витрат на дослідження та обладнання) — і R1 не перевершував o1 у кожній дисципліні.
Stargate: ШІ як інфраструктура державного масштабу
21 січня 2025 року штучний інтелект опинився на сцені Білого дому — як інфраструктурний проект державного масштабу. OpenAI, SoftBank, Oracle та інвестор MGX оголосили проект Stargate: до 500 мільярдів доларів за чотири роки на центри обробки даних для ШІ у США, причому 100 мільярдів мали бути задіяні негайно. Цим було оприявнено, що наступна фаза ШІ є менше алгоритмічним, а більше енергетичним і будівельним питанням: обчислювальна потужність у масштабах електростанцій та індустріальних парків. Для галузі, чиєю наскрізною темою від AlexNet є обчислювальна потужність (починаючи з CUDA 2007), це була логічна, але грандіозна наступна сходинка — і сигнал того, що ШІ стало національним, геополітичним пріоритетом. Чесна оцінка: оголошення — це не готовий центр обробки даних. Чи вдасться зібрати повні 500 мільярдів — це було суперечливим від самого початку; навіть учасники й спостерігачі публічно сумнівалися у фінансуванні.
Паризький саміт з ШІ
10 і 11 лютого 2025 року в паризькому Гран-Пале зібралися глави держав і урядів, технологічні корпорації та дослідники на саміт AI Action Summit — третю велику зустріч з питань ШІ після Блетчлі (2023) і Сеула (2024), яку спільно очолювали президент Франції Макрон і прем'єр-міністр Індії Моді. Показовою стала зміна тону: якщо перший саміт зосереджувався на безпеці ШІ, то в Парижі йшлося насамперед про можливості, інвестиції та конкурентоспроможність — віце-президент США відкрито агітував проти надмірного регулювання. Зрештою 58 держав, а також ЄС і Африканський союз підписали декларацію про інклюзивний і сталий ШІ — однак США і Велика Британія відмовилися поставити підпис. Цим самітом відкритий трансатлантичний розкол у сфері управління ШІ став очевидним. Чесна оцінка: декларація не мала обов'язкової сили, а критики назвали саміт втраченою нагодою для теми безпеки.
Фронтирні моделі 2025 року
У 2025 році здатність до міркувань, яку запустили o1 і R1, стала стандартом провідних моделей — у темпі, за яким важко було встигати. У березні Google представив Gemini 2.5 Pro, у травні Anthropic — Claude 4 (Opus 4 і Sonnet 4), у серпні OpenAI — GPT-5; між ними вийшли Claude 3.7 (перша гібридна модель, що на вибір відповідає швидко або думає довше), GPT-4.5, Llama 4 від Meta і Grok від xAI. Нове покоління поєднало дві лінії: поетапне міркування моделей-мислителів і здатність діяти самостійно (агентність). Особливо в центрі уваги опинилося автономне програмування на тривалих відрізках. Для чесної оцінки: лабораторії щотижня перевершували одна одну у рекордах на бенчмарках, і кожна претендувала на першість, — справжній прогрес, але часто вживане слово АЗІ залишалося більше маркетингом, ніж реальністю.