Обнаружение аномалий — это метод машинного обучения, выявляющий необычные или подозрительные паттерны в данных, которые отклоняются от нормального поведения. Представьте опытного сотрудника службы безопасности, который сразу замечает, когда кто-то ведёт себя 'странно', — хотя он не смог бы точно определить, что считается нормой. Существуют два основных подхода. При полуконтролируемом подходе (semi-supervised, One-Class) система сначала обучается на размеченных нормальных данных тому, как выглядит 'норма', а затем сигнализирует о точках данных, значительно от неё отклоняющихся. При неконтролируемом подходе отдельной фазы обучения норме нет: аномалии выявляются непосредственно как редкие выбросы в нелабелированном смешанном наборе данных. Выбор подхода зависит от того, доступны ли чистые нормальные данные. Особенно ценна эта техника в таких областях, как обнаружение мошенничества, кибербезопасность или медицинская диагностика, где аномалии редки, но критичны. Алгоритмы Isolation Forest, One-Class SVM и автоэнкодеры зарекомендовали себя как особенно эффективные.
Пример:Система кредитных карт выявляет мошенничество, обнаруживая необычные паттерны расходов: если человек обычно тратит 50 евро за покупку, а внезапно — 5 000 евро в другой стране, это аномалия, требующая дополнительной проверки.
Обобщение — это настоящий экзамен, который должна пройти модель машинного обучения: способна ли она делать правильные предсказания на данных, которых никогда не видела? Модель, которая лишь заучивает тренировочные данные наизусть, этот экзамен проваливает — она запомнила, но не поняла. Противоположная ошибка — переобучение (Overfitting): модель слишком точно настроена под тренировочные примеры и не справляется с новыми. Разрыв обобщения (Generalization Gap) измеряет именно эту разницу: ошибка на тестовых данных минус ошибка на тренировочных. Большой разрыв сигнализирует о переобучении, малый — о хорошей переносимости. Теоретически обобщение описывается через VC-размерность (Вапник и Червоненкис, 1971): более сложные модели могут лучше подстраиваться под тренировочные данные, но требуют больше данных для хорошего обобщения. На практике обобщение регулируется достаточным объёмом тренировочных данных, подходящей сложностью модели, регуляризацией и независимыми выборками для валидации.
Также известен как:Генерализация, Переносимость
Пример:Спам-фильтр обучается на 10 000 электронных письмах и достигает там 99 % точности. В работе с новыми, незнакомыми письмами точность падает до 72 %. Фильтр переобучился: он выучил шаблоны тренировочного набора, а не само понятие 'спам'. Обобщение оказалось слабым.
Обратное обучение с подкреплением (Inverse Reinforcement Learning, IRL) переворачивает стандартную задачу обучения с подкреплением: вместо того чтобы учить оптимальному поведению по заданной функции вознаграждения, оно наблюдает поведение и выводит из него лежащую в основе функцию вознаграждения. Нг и Рассел формализовали эту задачу в 2000 году: при наличии последовательности наблюдений и действий агента — какую функцию вознаграждения он оптимизирует? Задача математически недоопределена: бесконечно много функций вознаграждения совместимы с любым наблюдаемым поведением, включая тривиальное решение R=0. Более поздние подходы, такие как Maximum Entropy IRL (Ziebart et al., 2008), разрешают эту неоднозначность с помощью принципа максимальной энтропии. IRL концептуально централен для выравнивания ценностей: если мы хотим выводить предпочтения человека из поведения, а не задавать их явно, IRL — формальная основа для этого.
Также известен как:IRL, Inverse Reinforcement Learning, Вывод функции вознаграждения
Пример:Алгоритм IRL наблюдает за поведением человека за рулём в различных дорожных ситуациях и выводит из них функцию вознаграждения, балансирующую безопасность, комфорт и скорость — что позволяет беспилотному автомобилю воспроизводить этот стиль вождения.
Каждая итерация обучения нейронной сети состоит из двух фаз. Прямой проход (forward pass) вычисляет предсказание. Обратный проход — это вторая фаза, и именно она несёт ключевой механизм обучения. Отправная точка — вычисленная функция потерь: насколько неверным оказалось предсказание? Эта информация распространяется обратно через сеть, слой за слоем, от выхода к входу. На каждом слое алгоритм обратного распространения ошибки применяет правило цепочки из дифференциального исчисления, чтобы вычислить градиент функции потерь по каждому параметру: насколько этот вес способствовал ошибке? Полученные градиенты передаются оптимизатору, который корректирует все параметры небольшими шагами. Без обратного прохода нет обучения — именно через него сеть по-настоящему совершенствуется.
Также известен как:Backward Pass, Обратное распространение ошибки
Пример:Сеть ошибочно классифицирует изображение как кошку вместо собаки. Потеря составляет 2,3. Обратный проход вычисляет для каждого из миллионов весов, нужно ли его увеличить или уменьшить, чтобы снизить потерю — оптимизатор затем обновляет их все.
Обученная модель — это поначалу просто файл, ценный, как рукопись в сейфе. Обслуживание модели (Model Serving) — это процесс превращения этой рукописи в библиотеку, открытую круглосуточно: модель публикуется за REST API-эндпоинтом и становится доступна для вывода в реальном времени (синхронного, с малой задержкой, для отдельных запросов в миллисекундах) или пакетного вывода (асинхронного, с высокой пропускной способностью, для обработки массивов данных в ночные часы). Промышленное обслуживание модели требует того, о чём ничего не знают блокноты Jupyter: автоматического масштабирования при пиковых нагрузках, управления версиями (A/B-тесты, канарейочные развёртывания), SLA по задержке, выбора оборудования (CPU для лёгких моделей, GPU или NPU для тяжёлых) и мониторинга на предмет дрейфа и ошибок. Платформы AWS SageMaker, Google Vertex AI, Azure ML Endpoints и фреймворки Triton Inference Server или vLLM отвечают именно этим требованиям. Ключевой инженерный компромисс: вывод в реальном времени минимизирует задержку, но требует постоянно работающих ресурсов; пакетный вывод максимизирует эффективность, но не подходит для интерактивных приложений.
Также известен как:Model Serving, Инференс-сервинг, Развёртывание модели
Пример:Компания эксплуатирует модель анализа тональности за REST-эндпоинтом. Входящие отзывы клиентов классифицируются в реальном времени как позитивные, нейтральные или негативные — задержка менее 80 мс. Ночью та же модель работает в пакетном режиме, обрабатывая 500 000 исторических отзывов для обновления аналитического дашборда.
Обучающая выборка (Training Set) — это набор данных, с помощью которого система машинного обучения развивает свои способности. Представьте: вы учите ребёнка распознавать животных, показывая тысячи фотографий и поясняя 'это собака', 'это кошка'. Именно так работает обучающая выборка при обучении с учителем: она содержит как входные данные (например, изображения), так и правильные ответы (так называемые метки, Labels). Однако метки — не обязательный элемент каждой обучающей выборки: при обучении без учителя и самообучении (например, при предварительном обучении больших языковых моделей) система учится на данных без каких-либо внешних меток. В ходе обучения система анализирует примеры и выявляет закономерности. Чем больше и разнообразнее обучающая выборка, тем точнее система впоследствии классифицирует новые, неизвестные ей данные. Качество обучающих данных в решающей мере определяет итоговую производительность модели — по принципу 'garbage in, garbage out' ('мусор на входе — мусор на выходе'). В качестве приблизительного ориентира: обучающая выборка составляет около 70–80 % доступных данных; оставшиеся данные, как правило, делятся на валидационную выборку (для подбора гиперпараметров и выбора модели) и тестовую (только для итоговой оценки). Точные соотношения варьируются в зависимости от объёма данных и применяемого метода (например, при кросс-валидации).
Также известен как:Training Set, Тренировочный набор данных
Пример:Система распознавания изображений обучается на 10 000 размеченных фотографий: 3 000 изображений кошек (метка: 'кошка'), 3 000 изображений собак (метка: 'собака') и 4 000 изображений других животных с соответствующими метками. Система учится на этих парах 'вход–метка' и выявляет признаки, характерные для каждой категории животных.
Обучение без учителя (Unsupervised Learning) — это метод машинного обучения, при котором система обнаруживает закономерности в данных, не зная заранее, что искать. Представьте, что вы даёте исследователю огромную стопку неупорядоченных документов и говорите: 'Найди что-нибудь интересное' — без дополнительных указаний. Именно так работает обучение без учителя с данными. В отличие от обучения с учителем, здесь нет 'правильных ответов' или меток, показывающих системе, чему учиться. Вместо этого система самостоятельно обнаруживает структуры, группы и взаимосвязи. Основные техники: кластеризация (группировка похожих точек данных), понижение размерности (упрощение сложных данных без потери важной информации) и ассоциативные правила (обнаружение связей 'если-то'). Классический пример — метод главных компонент (PCA), который сокращает сотни измерений данных до нескольких наиболее важных, делая паттерны видимыми.
Пример:Интернет-магазин анализирует покупательское поведение клиентов без заданных категорий и автоматически обнаруживает пять групп покупателей: охотники за скидками, покупатели люксовых товаров, случайные покупатели, технические энтузиасты и семейные покупатели — эти выводы возникли исключительно из распознавания паттернов в данных.
Ключевая идея обучения в обучении с подкреплением, формализованная Ричардом Саттоном в 1988 году. Приём кажется почти парадоксальным: обучение с временной разностью (TD-обучение) улучшает одну оценку с помощью другой оценки. Оно не ждёт конца эпизода, чтобы узнать итоговое вознаграждение (так работал бы метод Монте-Карло). Вместо этого оно сравнивает текущую оценку стоимости состояния с тем, что наблюдается сразу после него: следующее вознаграждение плюс оценка для следующего состояния. Разница между ними — «TD-ошибка» — и является движущей силой обновления. Это обучение на основе оценок называется бутстрэппингом (Bootstrapping) и делает TD элегантным скрещиванием метода Монте-Карло (учится на реальном опыте) и динамического программирования (рекурсивное вычисление). Варианты варьируются от TD(0), смотрящего лишь на один шаг вперёд, до TD(lambda), взвешенно объединяющего несколько будущих шагов. Q-обучение и SARSA — это в своей основе TD-методы.
Также известен как:TD-обучение, TD-Learning
Пример:На долгой поездке на автомобиле утром вы оцениваете: 'Приеду около 17:00'. Час спустя вы стоите в пробке и корректируете: 'Скорее около 18:00'. Вы не ждали конца поездки — вы скорректировали старую оценку на основе новой. Это и есть идея TD-обучения. Разница между '17:00' и '18:00' — TD-ошибка. По ходу поездки оценки становятся всё точнее, задолго до реального прибытия.
Парадигма машинного обучения, при которой агент учится принимать оптимальные решения через взаимодействие со средой. Агент выбирает действия, среда реагирует новыми состояниями и вознаграждениями (Rewards). Цель: максимизировать кумулятивное вознаграждение со временем. В отличие от обучения с учителем (учится на размеченных примерах) или обучения без учителя (находит паттерны), RL учится методом проб и ошибок и отложенных вознаграждений. Успешно применяется в играх (AlphaGo, Atari), робототехнике, автономном вождении — везде, где нужно принимать последовательные решения в условиях неопределённости.
Пример:RL-агент учится играть в шахматы. Каждый ход — это действие. После игры идёт вознаграждение: +1 при победе, -1 при поражении, 0 при ничьей. Агент через множество партий учит, какие ходы ведут к победе в долгосрочной перспективе — без указания, какой конкретный ход 'правильный'. Это RL: обучение на последствиях, а не на примерах.
Imitation Learning (обучение с подражанием) — подход, при котором агент обучается выполнению задачи, наблюдая за действиями эксперта и подражая им, вместо того чтобы вырабатывать собственную стратегию методом проб и ошибок (обучение с подкреплением). Этот принцип хорошо знаком нам из человеческого обучения: ребёнок быстрее научится ездить на велосипеде, наблюдая за опытным велосипедистом, чем если бы учился исключительно на падениях и успехах. В робототехнике человек демонстрирует задачу (например, захват объекта), а робот обучается на основе этих демонстраций базовой политике управления. Преимущество: нередко значительно эффективнее обучения с подкреплением, которое может потребовать миллионов попыток методом проб и ошибок. Сложность: агент должен уметь обобщать — что делать, если он оказывается в ситуации, которую эксперт никогда не демонстрировал? Обучение с подражанием — обобщённый термин для нескольких подходов: при Behavioral Cloning (клонировании поведения) отображение состояний на действия обучается с учителем (действие эксперта становится целью предсказания), тогда как такие варианты, как обратное обучение с подкреплением (Inverse Reinforcement Learning), пытаются восстановить из демонстраций функцию вознаграждения, которую эксперт неявно оптимизировал.
Также известен как:IL, Imitation Learning, Learning from Demonstration
Пример:Робот учится захватывать объекты, наблюдая за тем, как человек несколько раз демонстрирует движение захвата. Робот наблюдает и подражает движениям до тех пор, пока не сможет самостоятельно выполнить задачу.
Обучение со смешанной точностью (Mixed Precision Training) — это метод обучения нейронных сетей с использованием чисел с плавающей точкой разной разрядности: большинство вычислений выполняется в экономичном 16-битном формате (FP16 или BF16), а наиболее чувствительные части остаются в точном 32-битном формате (FP32). Преимущество очевидно: 16-битные числа требуют вдвое меньше памяти и заметно быстрее обрабатываются на современном оборудовании — особенно на тензорных ядрах (Tensor Cores) GPU NVIDIA. Наивная реализация ведёт к проблемам: FP16 обладает очень маленьким диапазоном значений, и крошечные градиенты попросту превращаются в ноль — пресловутый underflow. Решение, предложенное Micikevicius и коллегами в 2017 году, основано на двух приёмах: хранение мастер-копии весов в FP32 и масштабирование потерь (loss scaling) перед обратным проходом. Результат: почти идентичная точность при заметно меньшем расходе памяти и большей производительности. BF16 имеет больший диапазон значений и нередко обходится без масштабирования потерь.
Также известен как:Mixed Precision Training, Automatic Mixed Precision
Пример:При обучении большой языковой модели сеть в FP32 едва помещается в видеопамять и обучение идёт крайне медленно. С обучением со смешанной точностью матричные умножения выполняются в FP16 на тензорных ядрах, мастер-веса хранятся в FP32, а масштабирование потерь спасает маленькие градиенты. Результат: почти одинаковая итоговая точность, вдвое меньший расход памяти и нередко более чем двукратное увеличение пропускной способности.
Обучение ценностям (Value Learning) — это подход к согласованию ИИ, который обходит проблему спецификации того, что ИИ должен оптимизировать, предлагая системе выводить человеческие ценности и предпочтения из наблюдаемого поведения, выборов и обратной связи. Базовая интуиция: поскольку люди не могут полностью сформулировать то, чего они хотят — и история спецификации целей в ИИ это неизменно подтверждает, — ИИ должен поддерживать явную неопределённость относительно наших целей и снижать её, наблюдая за нами, а не действуя на основе фиксированной, пусть и ошибочной, цели. Нейт Сорес из MIRI проанализировал в 2016 году, почему обучение ценностям фундаментально сложно: человеческие предпочтения непоследовательны, зависят от контекста, частично неосознанны, а поведение, из которого их хотели бы вывести, само искажено ложными убеждениями и мотивированными рассуждениями. Стюарт Рассел сформулировал три управляющих принципа в книге 'Human Compatible' (2019): единственная цель машины — максимизировать реализацию человеческих предпочтений; изначально она не уверена, каковы эти предпочтения; она узнаёт их, наблюдая за выборами людей — а не за декларируемыми предпочтениями. Обучение ценностям переформулирует согласование: не правильно задать функцию вознаграждения, а построить систему, которая эпистемически уважает собственное незнание о том, чего мы хотим.
Также известен как:Обучение на предпочтениях, Value Learning, Выравнивание ценностей через обучение
Пример:Роботу-ассистенту нужно уважать приватность без явных правил. Вместо 'приватность = включена' он наблюдает, когда люди закрывают двери, понижают голос, отворачивают экраны, — и строит модель предпочтений, которая обобщается на новые ситуации, которые разработчики не предусматривали.
Общий ИИ обозначает гипотетическую форму искусственного интеллекта, которая достигает или превосходит человеческие когнитивные способности во всех областях. В то время как современные ИИ-системы являются специалистами — блестящими в одной области, но беспомощными за её пределами — общий ИИ был бы универсалом, как люди. Такой ИИ мог бы изучать новые языки, творчески решать проблемы, логически рассуждать и адаптироваться к совершенно незнакомым ситуациям. Стив Возняк сформулировал «кофейный тест»: настоящий общий ИИ должен уметь прийти в незнакомый дом и разобраться, как там приготовить кофе. Исследователи расходятся во мнениях, являются ли современные языковые модели уже предвестниками общего ИИ или мы ещё на десятилетия от него. Разработка общего ИИ считается одним из важнейших вех в истории человечества.
Также известен как:AGI, Сильный ИИ, Человекоподобный ИИ
Пример:Общий ИИ мог бы одновременно ставить медицинские диагнозы, писать стихи, разрабатывать бизнес-стратегии и доказывать новые математические теоремы — без специального программирования для каждой области.
Объяснимый ИИ (XAI) охватывает методы и техники, которые делают решения ИИ понятными для людей. В то время как традиционный ИИ часто работает как чёрный ящик — вход внутрь, выход наружу, но никто не знает почему — XAI делает мыслительные процессы прозрачными. Система может объяснить, какие факторы привели к определённому решению и как они были взвешены. Это особенно важно в критических областях, таких как медицина или финансы, где решения должны быть обоснованы. Такие техники, как LIME или SHAP, показывают, например, какие области изображения были решающими при распознавании рака кожи. XAI создаёт доверие, помогает выявлять предвзятость и соответствует правовым требованиям, таким как GDPR.
Также известен как:Интерпретируемый ИИ, Понятный ИИ
Пример:Система ИИ отклоняет кредит. Вместо простого «Нет» XAI объясняет: «Отказ из-за слишком низкого дохода (вес 40%) и плохой кредитной истории (вес 35%)».
Ограничивающий прямоугольник (bounding box) — простейший инструмент детектора объектов для указания точного местоположения чего-либо на изображении: выровненный по осям прямоугольник, описываемый четырьмя числами. Обычно это координаты x и y левого верхнего угла плюс ширина и высота (x, y, w, h) — или координаты двух противоположных углов. Это звучит тривиально, но не является таковым: сеть не учится рисовать прямоугольник — она учится оценивать эти четыре числа так, чтобы прямоугольник как можно плотнее охватывал обнаруженный объект. Качество оценки измеряется метрикой IoU (Intersection over Union) — отношением площади пересечения предсказанного и истинного прямоугольников к площади их объединения; 0 означает отсутствие перекрытия, 1 — идеальное совпадение. Ограничивающие прямоугольники являются стандартным выходом систем обнаружения объектов — YOLO, Faster R-CNN, DETR — и служат отправной точкой для сегментации экземпляров и отслеживания объектов. Их ограничение: они плохо подходят для некоторых объектов, например бананов или изогнутых дорог, — для них нужны маски сегментации.
Также известен как:Bounding Box, Рамка объекта
Пример:Система видеонаблюдения в реальном времени рисует зелёные прямоугольники вокруг каждого обнаруженного человека. Каждый такой прямоугольник — это ограничивающий прямоугольник: сеть выдаёт четыре координаты на каждого человека, которые система затем накладывает на видеокадр.
Ограничители безопасности (Guardrails) — это механизмы контроля, которые проверяют входные и выходные данные ИИ-системы на соответствие установленным правилам, при необходимости блокируя, изменяя или перенаправляя их. Они работают как отдельный слой до, после или внутри модели и в значительной мере не зависят от самой архитектуры модели. Реализации варьируются от простых фильтров на основе правил ('относится ли этот текст к заблокированной категории?') до специализированных классификационных моделей (например, Llama Guard) и диалоговых управляющих слоёв (тематические ограничители, удерживающие разговор в допустимых темах). Важно: ограничители безопасности прежде всего адресуют риски содержательного и безопасностного характера; они не заменяют заземление (фактическую точность) или структурированный вывод (форматное соответствие) — это отдельные задачи. Ключевое архитектурное разграничение: встроенные механизмы, такие как конституционный ИИ, действуют при обучении; внешние ограничители работают при инференсе как отдельный системный слой. Оба подхода могут сосуществовать и взаимно усиливать друг друга.
Также известен как:Фильтры безопасности
Пример:Чат-бот службы поддержки оснащён ограничителями безопасности, которые обнаруживают, когда пользователь запрашивает медицинский совет. Вместо ответа бот выводит сообщение, что медицинские вопросы следует задавать врачу — и возвращается к теме поддержки продукта.
Онлайн-вывод (Online Inference) означает немедленное получение предсказания модели для каждого отдельного запроса в момент его поступления — один вход, один ответ, в идеале за долю секунды. На другом конце кто-то или что-то ожидает результата: чат-бот должен ответить, беспилотный автомобиль — затормозить, ставка в рекламном аукционе — сформироваться за миллисекунды. В отличие от пакетного вывода, здесь ключевой показатель — не пропускная способность, а латентность: задержка на единичный запрос. Это делает онлайн-вывод технически более сложным и дорогостоящим: требуются постоянно работающие серверы, балансировка нагрузки, мониторинг и жёсткие цели по времени ответа. Упрощённо: пакетный вывод — это ночной поезд, онлайн-вывод — такси по вызову.
Также известен как:Вывод в реальном времени, Онлайн-предсказание
Пример:Пользователь вводит вопрос в чат-бот. Запрос отправляется в модель индивидуально, и та возвращает ответ за несколько сотен миллисекунд. Если бы система ждала накопления тысячи вопросов для пакетной обработки, пользователь несколько минут смотрел бы на пустой экран.
Онлайн-обучение (Online Learning) описывает режим обучения, при котором модель обновляется немедленно после каждой отдельной точки данных (или очень малого пакета) — в отличие от пакетного обучения, которое собирает весь набор данных, прежде чем скорректировать хотя бы один вес. Слово «онлайн» в названии относится к последовательной обработке данных, а не к интернет-соединению — распространённое заблуждение, неизменно вызывающее путаницу. Онлайн-обучение особенно полезно при потоках данных (котировки акций, показания датчиков, потоки кликов), при наборах данных, не помещающихся в оперативную память, и в нестационарных средах, где лежащее в основе распределение данных меняется со временем (концептуальный дрейф). Классические алгоритмы: стохастический градиентный спуск (SGD), алгоритм обучения персептрона. Вызовы: катастрофическое забывание, чувствительность к шуму в отдельных точках и более сложный подбор гиперпараметров.
Также известен как:Инкрементальное обучение, Последовательное обучение
Пример:Обнаружение мошенничества в банке: новые транзакции поступают каждую секунду. Модель онлайн-обучения немедленно корректирует веса риска в ответ на новые паттерны мошенничества — не дожидаясь ночного пакетного запуска.
Онтология в смысле ИИ — это явная спецификация концептуализации, согласно канонической формулировке Томаса Грубера (1993) из статьи 'A Translation Approach to Portable Ontology Specifications' в журнале Knowledge Acquisition — самой цитируемой статье в истории этого издания. Конкретно: онтология задаёт, какие концепции, свойства и отношения существуют в предметной области и как они связаны между собой. Это чётко отличает её от одноимённой философской дисциплины, задающей вопрос о бытии как таковом, — онтология ИИ прагматична и машинно-обрабатываема. Типичные строительные блоки: классы (концепты), экземпляры (индивиды), свойства и аксиомы (правила). Распространённые форматы: OWL (Web Ontology Language) и RDF/RDFS. Применения: управление знаниями, семантический веб, медицинские информационные системы и основа графов знаний — таких как DBpedia или Google Knowledge Graph.
Также известен как:Формальная онтология, Онтология знаний
Пример:Медицинская онтология определяет: инфаркт миокарда является подклассом болезни сердца, имеет симптомы, такие как боль в груди, и ассоциирован с факторами риска, такими как гипертония. Клиническая система может автоматически сделать вывод, что пациент с определёнными симптомами относится к группе высокого риска.
Определение частей речи (POS-тегирование) — автоматическое присвоение грамматических категорий (существительное, глагол, прилагательное, предлог и т.д.) каждому токену в тексте. Задача кажется простой, но это не так: слово 'bank' в английском в зависимости от контекста может быть существительным (банк) или глаголом (накренять) — тэггер должен принять решение. Ранние системы использовали скрытые марковские модели, оптимизирующие наиболее вероятную последовательность тегов. Современные модели на основе Transformer рассматривают POS-тегирование как задачу классификации последовательностей и превосходят более старые подходы на несколько процентных пунктов. Информация о частях речи используется во многих последующих задачах: синтаксический анализ, извлечение информации и машинный перевод — все они выигрывают от знания того, является ли слово существительным или глаголом.
Также известен как:POS-тегирование, Морфологическая разметка, Разметка частей речи
Пример:В предложении 'ИИ быстро учится' POS-тэггер присваивает: 'ИИ' — существительное, 'быстро' — наречие, 'учится' — глагол (3-е лицо единственного числа). Эти теги позволяют последующему синтаксическому анализатору различить подлежащее (ИИ) и сказуемое (учится).
Adam — сокращение от Adaptive Moment Estimation — это основной оптимизатор современного глубокого обучения. Кингма и Ба опубликовали его в 2015 году (arXiv:1412.6980) как продуманное сочетание двух прежде разрозненных идей: момент накапливает прошлые градиенты и придаёт обучению инерцию для прохождения плоских регионов; RMSProp нормализует размер обновления для каждого параметра с помощью скользящего среднего квадратов градиентов. Adam делает и то, и другое одновременно. Он поддерживает два экспоненциальных скользящих средних — первый момент (средний градиент) и второй момент (среднеквадратичная величина градиента) — и применяет поправку на смещение к обоим. В результате каждый параметр получает собственную адаптивную скорость обучения. Большие градиенты сглаживаются, малые получают относительное усиление. Adam быстро сходится, требует минимальной настройки гиперпараметров и хорошо справляется с разреженными градиентами — именно поэтому он является стартовым выбором для практически любой нейронной сети.
Также известен как:Adam, Adaptive Moment Estimation
Пример:При обучении трансформера для обработки языка параметр в слое встраивания, получающий лишь редкие сигналы градиента, всё равно получает хорошо откалиброванные обновления от Adam. Классический SGD с фиксированным шагом фактически игнорировал бы такой параметр.
Оптимизация — сердце машинного обучения, описывающее систематический процесс, при котором ИИ-модели настраивают свои параметры для достижения наилучших результатов. В основе лежит минимизация математической функции — функции потерь — которая показывает, насколько «плохи» текущие предсказания модели. Самый известный алгоритм оптимизации — градиентный спуск, который ведёт себя как путник, ищущий самую низкую точку долины в густом тумане: он ощупывает наклон и всегда идёт в направлении самого крутого спуска. Для нейронных сетей это конкретно означает: система вычисляет для каждого отдельного веса, в каком направлении его нужно изменить, чтобы снизить частоту ошибок. Современные методы оптимизации, такие как Adam или RMSprop, значительно изощрённее — они учитывают не только текущий наклон, но и «память» предыдущих шагов и интеллектуально адаптируют размер шага. Без оптимизации не было бы глубокого обучения: каждая обученная нейронная сеть обязана своими способностями миллионам крошечных корректировок параметров алгоритмами оптимизации.
Также известен как:Оптимизация параметров, Минимизация функции потерь, Градиентная оптимизация
Пример:При обучении модели распознавания изображений оптимизация начинает со случайных весов — модель практически угадывает вслепую. После миллионов шагов оптимизации параметры настолько отточены, что модель может отличать кошек от собак — каждое улучшение было крошечным, математически рассчитанным шагом в правильном направлении.
Оптимизация муравьиной колонией — это метаэвристика, основанная на принципах поиска пути у настоящих муравьёв. Отдельный муравей поразительно недальновиден — однако колония в целом надёжно находит кратчайший путь к источнику пищи. Секрет кроется в стигмергии: каждый муравей оставляет феромонный след, а более короткие пути проходятся чаще, поэтому накапливают больше феромона, что, в свою очередь, привлекает больше муравьёв. При этом феромон испаряется, поэтому устаревшие обходные маршруты постепенно исчезают. Марко Дориго формализовал этот принцип в 1992 году в своей докторской диссертации как 'Ant System' и проверил его на задаче коммивояжёра. Искусственные муравьи строят решения вероятностным образом, с весами на основе феромонов и эвристики. Оптимизация муравьиной колонией хорошо проявляет себя в комбинаторных задачах маршрутизации — логистика, проектирование сетей. Слабые стороны: чувствительность к параметрам и отсутствие гарантий сходимости, зато не требует центрального управления.
Также известен как:ACO, Алгоритм муравьиной колонии
Пример:Служба доставки ищет кратчайший маршрут через 50 остановок. Сотни искусственных муравьёв строят маршруты вероятностным образом, предпочитая рёбра с большим количеством феромона. После каждого раунда кратчайший маршрут получает более сильную маркировку, слабые следы испаряются. После многих итераций кристаллизуется очень короткий маршрут.
Оптимизация роем частиц (PSO) — метод оптимизации, разработанный Кеннеди и Эбертом в 1995 году под вдохновением поведения стай птиц и косяков рыб. Вместо улучшения одной точки PSO отправляет целое облако кандидатов-решений (частиц) через пространство поиска. Каждая частица запоминает наилучшую позицию, найденную самостоятельно (личный максимум), и одновременно ориентируется на наилучшую позицию, обнаруженную любой частицей роя (глобальный максимум). Совместное действие обоих факторов с добавлением случайности задаёт направление движения на каждом шаге. Таким образом частицы совместно исследуют перспективные области без необходимости вычислять производные. Никакой мистики — лишь удивительно полезная групповая динамика, прекрасно подходящая для сложных негладких целевых функций, где классические методы градиентного спуска застревают.
Пример:Инженер ищет форму профиля крыла с минимальным аэродинамическим сопротивлением. PSO запускает 30 частиц со случайными профилями. Одна находит более плоский вариант — остальные немедленно ориентируются на него, сохраняя собственные находки. После ста итераций рой сосредотачивается вокруг формы с малым сопротивлением, о которой никто заранее не знал.
Оптический поток описывает кажущееся поле движения всех пикселей между двумя последовательными кадрами видео — плотная карта векторов, показывающая, куда переместилась каждая точка изображения. Основную задачу сформулировали Хорн и Шунк в 1981 году с помощью двух элегантных ограничений: яркость сохраняется, а соседние пиксели движутся схожим образом. Лукас и Канаде решили ту же задачу с помощью локального окна, что легло в основу разреженного трекинга. Оба классических метода испытывают трудности с большими смещениями и однородными областями — проблема, которую реально решило лишь глубокое обучение. RAFT (Teed & Deng, ECCV 2020) итеративно строит глобальный объём корреляции по всем парам пикселей и установил новую планку точности. Оптический поток питает системы автономного вождения, алгоритмы сжатия видео, модели распознавания действий и интерполяцию кадров.
Также известен как:Optical Flow, Оценка движения, Поле движения пикселей
Пример:Камера в автомобиле оценивает оптический поток между двумя кадрами. Пиксели заднего плана смещаются медленно, а пиксели приближающегося пешехода — быстро: чёткий сигнал для системы предотвращения столкновений.
Оптическое распознавание символов (OCR, от английского Optical Character Recognition) — это процесс, при котором компьютер считывает текст с изображений: будь то отсканированная страница книги, фотография дорожного знака или рукописная заметка. Эта дисциплина старше современного глубокого обучения: ещё в 1950-х годах существовали машины, распознававшие печатные цифры. Основная задача разбивается на два шага: обнаружение текста (где в изображении находится текст?) и транскрипция текста (какие именно символы?). Современные нейронные OCR-системы — такие как Tesseract 4 (на основе LSTM) или коммерческие решения — как правило, решают оба шага совместно. Наибольшую сложность представляет не печатный, а естественный текст сцены: надписи в произвольных шрифтах, размерах, перспективах и при переменном освещении. Современные OCR-системы сочетают извлечение признаков CNN с рекуррентными сетями (CRNN) или Transformer-декодерами. OCR лежит в основе оцифровки документов, обеспечения доступности, автоматической обработки счетов и приложений-переводчиков.
Также известен как:OCR, Распознавание текста
Пример:Вы фотографируете меню на японском языке смартфоном. Приложение-переводчик использует OCR для считывания японских символов с фотографии, переводит их и накладывает перевод на изображение камеры в режиме реального времени.
Тот, кому алгоритм отказал — в кредите, на собеседовании, при получении социальных выплат — имеет право спросить: почему? И имеет право оспорить это решение. В Европе это регулирует ст. 22 GDPR: решения, основанные исключительно на автоматизированной обработке и влекущие юридически значимые или сопоставимые последствия, в принципе запрещены — если только они не необходимы для исполнения договора, не разрешены законом или не основаны на явном согласии. Даже в этих исключительных случаях три права остаются нерушимыми: право на вмешательство человека, право изложить свою точку зрения и право оспорить решение. Важное практическое разъяснение: человек, который лишь формально одобряет алгоритмическую рекомендацию без независимой оценки, по-прежнему квалифицируется юридически как автоматизированное решение.
Также известен как:право на оспаривание автоматизированных решений
Пример:Банк отклоняет заявку на кредит в полностью автоматическом режиме. Заявитель ссылается на ст. 22 GDPR, требует проверки человеком и излагает основания своего возражения. Банк обязан повторно рассмотреть дело с реальным участием человека.
Остаточная связь (He et al., 2015) напрямую передаёт входные данные x блока слоёв на его выход и суммирует их там: y = F(x) + x. Сеть учится не полной целевой функции H(x), а только остатку F(x) = H(x) - x — отклонению от текущего состояния. Звучит как незначительная деталь, но архитектурно это принципиально: при обратном распространении градиенты теперь могут течь обратно напрямую через связь-ярлык, не подавляясь потенциально насыщающими функциями активации. Именно поэтому архитектуры ResNet (ResNet-50, ResNet-152) с более чем 150 слоями стабильно обучаются, тогда как простые глубокие сети без Skip Connection за определённой глубиной показывали результаты хуже, чем более мелкие. Остаточные связи сегодня встроены практически во все современные архитектуры — от Vision Transformer до GPT.
Также известен как:Skip Connection, Shortcut Connection, Residual / Skip Connection
Пример:Блок ResNet состоит из двух свёрточных слоёв, шага батч-нормализации и ReLU-активации. Skip Connection напрямую прибавляет исходные входные данные к выходу блока. Если блок ничему полезному не учится, сеть может просто сохранить тождественное отображение — F(x) = 0 означает y = x.
Остаточный поток — это концепция из механистической интерпретируемости, введённая Elhage et al. (2021) в Anthropic. Она описывает центральный вектор активаций, который проходит через все слои трансформерной модели. Каждый слой внимания и каждый слой MLP читает из этого вектора и аддитивно записывает в него свой результат — ни один слой не заменяет поток, все слои его дополняют. Это элегантная переформулировка остаточных связей в трансформере: вместо информационного канала с накапливаемыми добавками мы видим общий канал коммуникации, в который записывают все компоненты. Это делает интерференцию между слоями поддающейся анализу и составляет основу современных исследований интерпретируемости.
Также известен как:Residual Stream
Пример:Токен 'Париж' при входе порождает вектор эмбеддинга. Каждый последующий слой внимания добавляет информацию: контекст, отношения, семантические соответствия. В конце выходная голова читает из этого вектора следующий токен. Остаточный поток — это общий след памяти всего процесса обработки.
Отбор признаков (Feature Selection) — это процесс выбора оптимального подмножества релевантных характеристик из большего набора признаков для построения модели в машинном обучении. Цель — улучшение производительности модели через устранение нерелевантных, избыточных или зашумлённых признаков. Существуют три основные категории: фильтрующие методы (статистические тесты без обучения модели), обёрточные методы (оценка подмножеств признаков на основе модели) и встроенные методы (отбор признаков во время обучения модели, например, LASSO-регуляризация). Известные техники: рекурсивное исключение признаков (RFE), одномерные тесты, корреляционный анализ и показатели важности на основе деревьев. Отбор признаков снижает переобучение, ускоряет обучение, улучшает интерпретируемость и борется с проклятием размерности. Выбор метода зависит от набора данных, типа задачи и доступных ресурсов.
Пример:Набор данных с 1000 признаков для диагностики рака сокращается с помощью RFE до 50 релевантных биомаркеров. Модель SVM достигает с ними 94% точности (против 89% со всеми признаками) при 20-кратном ускорении обучения. Нерелевантные признаки вроде 'Номер дела' автоматически исключаются, важные вроде 'Онкомаркер XY' сохраняются.
Кто платит, когда система ИИ причиняет вред? Этот вопрос с юридической точки зрения сложнее, чем кажется: классическое деликтное право требует вины или дефекта в определённом продукте — и то, и другое печально трудно установить в отношении непрозрачных алгоритмических систем. Европейская комиссия предприняла попытку гармонизированного решения с проектом Директивы об ответственности за ИИ (2022), предложив облегчённое бремя доказывания для пострадавших и обязательства по раскрытию информации для необъяснимых систем. Однако в феврале 2025 года Комиссия отозвала проект — из-за недостаточного политического согласия и давления в пользу упрощения регулирования. Что остаётся — это пересмотренная Директива об ответственности за продукцию (PLD, вступившая в силу в октябре 2024 года), прямо охватывающая продукты и программное обеспечение с использованием ИИ, и национальное деликтное право. По состоянию на 2025 год единого общеевропейского правила, конкретно касающегося ответственности за ИИ, не существует.
Также известен как:AI Liability, Ответственность за ущерб от ИИ, Возмещение ущерба от ИИ
Пример:Система автономного вождения не замечает пешехода. Кто несёт ответственность: производитель автомобиля, поставщик программного обеспечения ИИ или владелец транспортного средства? По пересмотренной PLD пострадавший может предъявить иск производителю продукта, однако облегчения бремени доказывания, которое предусматривала отозванная Директива об ответственности за ИИ, нет.
Responsible AI (ответственный ИИ) — это общий термин для всех подходов, которые стремятся сделать системы ИИ не просто мощными, но и справедливыми, прозрачными, подотчётными и соответствующими требованиям конфиденциальности. Microsoft операционализирует это в шести принципах — справедливость, надёжность, безопасность, конфиденциальность, инклюзивность, прозрачность и подотчётность; Google и ОЭСР следуют аналогичным каталогам. Общее у всех этих рамок — они называют одни и те же ценности, но существенно различаются в том, насколько обязательны и проверяемы эти ценности на практике. Поэтому термин стоит воспринимать с осторожностью: как самообязательство без внешней проверки он остаётся маркетинговым обещанием. Только в сочетании с реальными механизмами — аудитами, регуляторными требованиями, гражданским контролем — это становится чем-то большим, чем PR.
Также известен как:Этичный ИИ
Пример:Компания публикует свою концепцию Responsible AI с шестью принципами. Действуют ли они на самом деле, можно оценить лишь тогда, когда внешние проверяющие получат доступ к данным, моделям и процессам принятия решений.
«Открытые веса» (Open Weights) — это модели, чьи обученные параметры можно свободно скачать, и ничего более. Это звучит как мелочь, но является принципиальным различием. Доступ к весам позволяет запускать, адаптировать и распространять модель локально. Не имея кода обучения и обучающих данных, невозможно воспроизвести систему, проаудировать, чему она обучилась, или понять решения, принятые в процессе обучения. Инициатива по открытому исходному коду (OSI) уточнила это в своём определении открытого исходного кода для ИИ (октябрь 2024 года): по-настоящему открытая ИИ-система должна предоставлять веса, полный исходный код обучения и достаточные сведения об обучающих данных — всё под лицензией, одобренной OSI. Семейство Llama от Meta по этому определению не является открытым исходным кодом. «Открытые веса» — это более точная категория: максимальная прозрачность модели при нулевой прозрачности процесса.
Также известен как:Модели с открытыми весами, Публично доступные веса
Пример:Meta выпускает Llama 3 с публично доступными весами. Разработчики по всему миру могут запускать и тонко настраивать модель локально. Но спросите, на каких данных она обучена, — и в ответ молчание. Открытые веса, а не открытый исходный код.
Отслеживание экспериментов (Experiment Tracking) — это систематическая запись всей значимой информации о цикле обучения ML: гиперпараметры, метрики, артефакты, версия кода и конфигурация среды. Результат — полная цепочка происхождения данных: можно воспроизвести любой запуск, сравнивать запуски между собой и понимать, почему модель A превосходит модель B. Без трекинга ML-исследование превращается в груду недатированных ноутбуков и коллективную амнезию о том, какая скорость обучения работала на прошлой неделе. MLflow (с открытым исходным кодом, Databricks) и Weights & Biases — наиболее распространённые инструменты. Отслеживание экспериментов — необходимое условие для работоспособного реестра моделей.
Также известен как:Experiment Tracking, Ведение журнала ML-экспериментов
Пример:Исследователь запускает три цикла обучения с разными скоростями обучения. Система трекинга автоматически записывает: скорость обучения 0,001 даёт точность на валидации 87 %, скорость 0,01 — 91 %, скорость 0,1 — расходится. Лучший запуск можно воспроизвести ровно через месяц по хэшу коммита и конфигурации.
Оценка алгоритмического воздействия (AIA) — это структурированная предварительная оценка, которая выявляет общественные, правовые и этические риски системы ИИ до её ввода в эксплуатацию. Концепция следует логике оценки воздействия на защиту данных (ст. 35 GDPR): если система может существенно влиять на людей, необходимо сначала понять, каким образом. Канада стала первопроходцем: её Директива об автоматизированном принятии решений 2019 года обязывает федеральные ведомства проводить AIA с четырьмя уровнями воздействия — от базовой документации (уровень I) до независимой внешней проверки перед запуском (уровень IV). Результаты должны публиковаться на Портале открытых данных. Закон ЕС об ИИ воспринял тот же принцип для систем высокого риска под названием «оценка соответствия». Критический вопрос состоит в том, реально ли выводы AIA влекут изменения в дизайне системы или лишь порождают документальную отчётность. Ответ полностью зависит от того, кто держит перо.
Также известен как:Algorithmic Impact Assessment, AIA, Оценка последствий алгоритмов
Пример:Канадское федеральное ведомство хочет внедрить систему ИИ, автоматически оценивающую заявки на социальные пособия. До запуска оно должно заполнить опросник из 65 вопросов о рисках плюс 41 вопрос об их снижении. Опубликованный результат — уровень III, требующий проверки всех решений человеком и обязательного тестирования на предвзятость.
Оценка глубины (Depth Estimation) — задача вычисления попиксельной карты расстояний по одному или нескольким снимкам камеры: каждый пиксель кодирует не цвет, а расстояние до камеры. Человеческий мозг решает эту задачу легко, используя бинокулярный параллакс и многолетний пространственный опыт. Для машин это значительно сложнее. Стерео-методы используют две сдвинутые камеры и измеряют горизонтальный сдвиг совпадающих точек (диспаратность); геометрия хорошо изучена, но требует откалиброванного оборудования. Монокулярная оценка глубины — восстановление третьего измерения по единственному снимку — принципиально некорректно поставленная задача: модель должна опираться на перспективу, затенение, относительные размеры и текстурные градиенты. MiDaS (Рантфль и др., 2020) показал, что обучение на разнообразных смешанных наборах данных даёт устойчивую нулевую генерализацию без данных LiDAR. Карты глубины лежат в основе навигации роботов, дополненной реальности, трёхмерной реконструкции и систем преобразования текста в 3D.
Также известен как:Depth Estimation, Оценка расстояния, Карта глубины
Пример:Складской робот въезжает в новое помещение. Модель монокулярной оценки глубины работает на его единственной камере и каждые 30 мс формирует карту расстояний. Робот определяет ближайший край стеллажа на расстоянии 0,4 м и останавливается — без ультразвукового датчика.
Оценка максимального правдоподобия (Maximum Likelihood Estimation, MLE) — старейший и наиболее используемый метод параметрической статистики, формализованный Рональдом Фишером в 1912–1922 годах. Идея обезоруживающе прямолинейна: по наблюдаемым данным найти параметры модели, при которых эти данные были бы наиболее вероятны. Формально: максимизировать функцию правдоподобия L(theta) = P(данные | theta) по всем возможным значениям параметров theta. На практике максимизируют логарифм правдоподобия — математически эквивалентно, численно устойчивее, поскольку произведения вероятностей превращаются в суммы. Фишер доказал, что при слабых условиях MLE-оценки состоятельны, асимптотически нормально распределены и эффективны. Отличие от MAP: оценка Maximum A Posteriori (MAP) расширяет MLE, включая априорное распределение. Равномерный априор сводит MAP к MLE; гауссов априор на параметры математически эквивалентен L2-регуляризации. MLE вездесуща в нейронных сетях: кросс-энтропийная потеря для классификации и среднеквадратичная ошибка для регрессии — обе эквивалентны MLE при соответствующих вероятностных моделях.
Также известен как:MLE, Maximum Likelihood Estimation, ML-оценка
Пример:В 10 бросках монеты 7 раз выпал орёл. MLE оценивает P(орёл) = 7/10 = 0,7 — это значение, максимизирующее биномиальную вероятность наблюдения. MAP-оценщик с сильным априором около 0,5 притянул бы значение обратно к 0,5.
Оценка позы (Pose Estimation) определяет анатомические точки — плечи, локти, запястья, бёдра, колени, лодыжки — на изображениях или в видеопоследовательностях и соединяет их в скелетную модель. Результат — не ограничивающий прямоугольник, а структурированное представление положения тела в пространстве. Cao et al. в 2017 году представили первое практически применимое решение в реальном времени для нескольких человек с OpenPose: поля сходства частей (Part Affinity Fields) кодируют принадлежность конечностей отдельным людям даже в плотных толпах. С тех пор появились два основных подхода: нисходящий (сначала обнаружить человека, затем оценить ключевые точки) и восходящий (обнаружить все ключевые точки глобально, затем сгруппировать их). Методы трёхмерного подъёма дополнительно реконструируют тело в трёх измерениях. Применения охватывают биомеханику спорта, физиотерапию, управление жестами, перенос анимации, обнаружение падений в учреждениях по уходу и обучение роботов на основе наблюдения за людьми.
Также известен как:Pose Estimation, Распознавание позы тела, Определение ключевых точек
Пример:Приложение для фитнеса снимает смартфоном, как пользователь делает приседания. Модель оценки позы определяет, что спина наклоняется слишком вперёд, и в реальном времени даёт корректирующую обратную связь — без носимых устройств, только из видеопотока.
Прежде чем высокорисковая система ИИ выйдет на рынок ЕС, её поставщик должен доказать, что она соответствует всем законодательным требованиям — это и есть оценка соответствия по ст. 43 Закона ЕС об ИИ (EU AI Act). В зависимости от типа системы процедура проводится внутренне (поставщик проводит самооценку по структурированным чек-листам: система управления рисками, документация данных, журналы событий, тесты на надёжность) или внешне — с привлечением нотифицированного органа, который независимо проверяет систему менеджмента качества и техническую документацию. Для биометрических систем, перечисленных в Приложении III, внешняя сертификация обязательна, а при существенных изменениях процедуру нужно повторять. Успешный результат — Декларация соответствия ЕС и маркировка CE. Это не бюрократический театр, а инженерный эквивалент доказательства того, что тормоза работают перед продажей автомобиля.
Также известен как:процедура оценки соответствия, проверка соответствия
Пример:Компания разрабатывает систему ИИ для автоматического распознавания лиц в аэропортах (Приложение III, п. 1 — биометрия). Привлекается нотифицированный орган, который проверяет систему менеджмента качества и все протоколы испытаний. Только после положительного заключения система может быть введена в эксплуатацию.
Оценки опасных возможностей (Dangerous Capability Evaluations) — стандартизированные тесты, проводимые перед развёртыванием модели ИИ с целью определить, обрела ли она возможности, способные причинить серьёзный вред или помочь другим в его причинении. Они принципиально отличаются от обычных эталонных тестов: вместо измерения производительности в понимании языка или качестве кода они задают вопросы: может ли эта модель помочь злоумышленнику синтезировать биологическое оружие, скомпрометировать критическую инфраструктуру или автономно реплицироваться и накапливать ресурсы? Соответствующие категории возможностей, как правило, охватывают CBRN (химическое, биологическое, радиологическое, ядерное оружие), кибератаки и автономную живучесть. Политика ответственного масштабирования (Responsible Scaling Policy, RSP) обязывает Anthropic проводить такие оценки перед каждым развёртыванием модели; результат определяет, какой уровень безопасности (ASL) присваивается модели. Центральным для этого подхода является понятие uplift (повышение возможностей): не любая передача знаний опасна — вопрос в том, предоставляет ли модель злоумышленнику существенный шаг вперёд по сравнению с тем, чего он мог бы достичь без помощи ИИ.
Также известен как:оценки возможностей, тесты опасных возможностей, проверки безопасности
Пример:Перед выпуском передовая модель оценивается на CBRN-uplift: может ли она предоставить детальные маршруты синтеза патогенных агентов, выходящие за рамки общедоступных знаний? Если да, модель либо не выпускается, либо развёртывается с дополнительными мерами безопасности.