Технология и формат 1958–2020-е гг.

Искусственные нейросети, архитектура Transformer и LLM

Эволюция коннекционизма: от перцептрона Розенблатта и алгоритма обратного распространения ошибки к механизму самовнимания Transformer и большим языковым моделям

Краткая справка

Искусственные нейросети прошли путь от аппаратного перцептрона Фрэнка Розенблатта (1958) и двух «зим ИИ» к доминированию глубокого обучения благодаря алгоритму обратного распространения ошибки (1986) и массивно-параллельным вычислениям на GPU (2012). Решающий прорыв совершила архитектура Transformer (Google, 2017), заменившая последовательные рекуррентные сети параллельным механизмом самовнимания и открывшая эпоху больших языковых моделей (BERT, GPT, DeepSeek).

Архитектура нейронной сети Transformer с блоками энкодера, декодера и многоголового внимания
Полная архитектура трансформера с кодировщиком, декодировщиком, позиционным кодированием и многоголовым самовниманием (иллюстрация dvgodoy, CC BY 4.0). Иллюстрация: dvgodoy, CC BY 4.0

Перцептрон, «зимы ИИ» и возвращение коннекционизма (1958–2012)

История нейросетей развивалась в конкуренции с символьным искусственным интеллектом, опиравшимся на жёсткие логические правила. Отталкиваясь от модели формального нейрона Уоррена Мак-Каллока и Уолтера Питтса (1943), психолог Корнеллской авиационной лаборатории Фрэнк Розенблатт при финансировании Управления военно-морских исследований США (ONR) в 1957–1958 годах создал теорию перцептрона, а в 1960 году построил машину Mark I Perceptron для распознавания образов. Однако в 1969 году лидеры символьной школы из MIT Марвин Минский и Сеймур Пейперт в книге «Perceptrons» строго доказали неспособность однослойного перцептрона решать линейно неразделимые задачи вроде функции исключающего «ИЛИ» (XOR). После этого агентства вроде DARPA сократили гранты на нейросети в пользу экспертных систем, спровоцировав первую «зиму ИИ» 1970-х годов.

Возрождение началось в 1986 году, когда Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс популяризировали алгоритм обратного распространения ошибки (backpropagation) для обучения многослойных сетей. В 1990-е годы появились свёрточные сети Яна Лекуна (LeNet, применявшиеся для чтения почтовых индексов) и рекуррентные сети с долгой краткосрочной памятью (LSTM), предложенные Зеппом Хохрайтером и Юргеном Шмидхубером в 1997 году. Тем не менее из-за нехватки размеченных корпусов и слабых CPU в 1990–2000-х годах на практике доминировали статистические подходы — метод опорных векторов и сглаженные n-граммные модели языка (вроде статистических моделей выравнивания IBM и корпусов «веб как корпус»), которые к 2009 году превосходили символьные системы в обработке текста. Перелом обеспечила игровая индустрия: удешевление графических ускорителей (GPU) и платформа NVIDIA CUDA открыли эпоху массивно-параллельных вычислений. В 2012 году свёрточная сеть AlexNet (Алекс Крижевский, Илья Суцкевер, Джеффри Хинтон) с огромным отрывом выиграла конкурс ImageNet, а в 2014–2016 годах в обработке текста закрепились архитектуры seq2seq с механизмом внимания (Д. Бахданау и др., 2014; Google Neural Machine Translation, 2016).

Почему RNN уступили архитектуре Transformer

Даже улучшенные рекуррентные сети (RNN и LSTM) упирались в последовательную обработку текста — токен за токеном, что мешало параллельно загружать тысячи ядер GPU и ослабляло учёт дальних зависимостей в длинных предложениях. В июне 2017 года восемь исследователей Google Brain и Google Research (Ашиш Васуани и соавторы) опубликовали статью «Attention Is All You Need», представив архитектуру Transformer. Убрав рекуррентные циклы, авторы разбили входной текст на подслова-токены (алгоритмами вроде BPE или WordPiece) и соединили синусоидальное позиционное кодирование с механизмом многоголового самовнимания (Multi-Head Self-Attention) на основе матриц запросов, ключей и значений (Q, K, V).

Одновременная матричная обработка всего контекстного окна позволила эффективно распараллеливать обучение на кластерах GPU и TPU, запустив законы масштабирования: рост объёма неразмеченных текстов (до триллионов токенов) и числа параметров предсказуемо повышал качество моделей. Архитектура дала три направления больших языковых моделей (LLM): двунаправленные модели «только кодировщик» (BERT, 2018), обновившие интернет-поиск; полные системы «кодировщик–декодер» (T5) для перевода; и авторегрессивные генеративные модели «только декодер» с причинной маской внимания (линейка GPT от OpenAI), где самообучение предсказанию следующего токена сочеталось с тонкой настройкой на инструкциях и обучением с подкреплением на основе отзывов людей (RLHF).

Большие языковые модели и сдвиг в экономике, науке и политике

После закрытых экспериментов с GPT-2 (2019) и GPT-3 (2020, 175 млрд параметров) выпуск общедоступного чат-бота ChatGPT в ноябре 2022 года превратил LLM в массовый инструмент генерации текста, машинного перевода (включая сервисы Яндекса и Google) и программирования (GitHub Copilot). Крупнейшие корпорации развернули многомиллиардную гонку дата-центров, а передовые ускорители вычислений стали объектом стратегического экспортного контроля и технологического соперничества США и КНР.

Внедрение LLM обострило фундаментальные риски. Поскольку языковые модели вероятностно предсказывают токены, они подвержены «галлюцинациям» — уверенной генерации ложных фактов и несуществующих источников. Одновременно обучение на публичных корпусах веба и книг породило судебные иски об авторском праве, опасения по поводу трансформации рынка интеллектуального труда, автоматизации дезинформации и рисков кибербезопасности.

Открытые веса, оптимизация вычислений и «рассуждающие» модели

Высокая стоимость закрытых моделей вызвала контрволну систем с открытыми весами (LLaMA, Mistral) и инженерных прорывов экономии памяти: адаптации малого ранга LoRA и QLoRA (2023), 3–4-битного квантования (GPTQ, формат GGUF в библиотеке llama.cpp для локального запуска на обычных ПК), ускоренного внимания FlashAttention и GQA, а также разреженных сетей «смеси экспертов» (Sparse MoE — Mixtral 8x7B 2023 г., DeepSeek-V3 2024 г., активирующая лишь около 37 млрд параметров из 671 млрд на токен).

В 2023–2025 годах развитие сместилось к мультимодальности (обработка изображений, аудио и видео), «рассуждающим» моделям с явной генерацией цепочки мыслей перед ответом (OpenAI o1, открытая DeepSeek R1 января 2025 года) и автономным программным агентам, управляющим браузером и ОС. Вместе с тем ведущие учёные (Ян Лекун, Джуда Перл) подчёркивают, что вероятностное предсказание последовательностей ещё не означает подлинного понимания причинно-следственных законов физического мира.

Цепочка влияния: причины и последствия

Исторический «эффект домино» — какие предпосылки вызвали это событие или явление и к каким переменам оно привело.

Что привело к этому (истоки и предпосылки)

Технология и формат1957–1986 гг.Исторический предшественник

Перцептрон Розенблатта и обратное распространение ошибки

Многослойные сети с обратным распространением ошибки и рекуррентный механизм внимания в seq2seq заложили математическую базу, которую архитектура Transformer перевела на параллельные вычисления.

Технология и формат1995–2006 гг.Массивно-параллельные вычисления для ИИ

3D-графические ускорители и архитектура GPU

Унифицированная архитектура шейдеров GPU и платформа CUDA обеспечили многопоточный матричный счёт, без которого глубокие нейросети и LLM были невозможны.

Государства и ключевые связи в графе

Связанные личности, технологии, места и понятия

Технология и формат 3D-графические ускорители и архитектура GPU 1995–2006 гг. — Массивно-параллельные вычисления для ИИ
Технология и формат Перцептрон Розенблатта и обратное распространение ошибки 1957–1986 гг. — Исторический предшественник
Технология и формат Машинный перевод (от Джорджтаунского эксперимента к NMT) с 1954 г. — Эволюция технологии и стандарта

Частые вопросы и ответы

Почему после работ 1958 года возникла «зима искусственного интеллекта»?
Ожидания быстрого прорыва сменились разочарованием после выхода в 1969 году книги Марвина Минского и Сеймура Пейперта «Perceptrons», доказавшей математическую ограниченность однослойного перцептрона. Государственные заказчики резко урезали гранты на нейросети в пользу символьного ИИ.
В чём главное отличие архитектуры Transformer от рекуррентных сетей LSTM?
Рекуррентные сети вынуждены обрабатывать текст строго последовательно, слово за словом, что мешает параллельному обучению и приводит к затуханию дальнего контекста. Transformer с помощью механизма самовнимания и позиционного кодирования обрабатывает все токены последовательности одновременно на тысячах ядер GPU.
Почему в больших языковых моделях возникли так называемые «галлюцинации»?
По своей природе LLM является вероятностным алгоритмом предсказания наиболее правдоподобного продолжения последовательности токенов, а не детерминированной базой проверенных фактов. При нехватке точных знаний в весах модели она склонна генерировать грамматически безупречный, но фактически вымышленный ответ.
Как архитектура «смесь экспертов» (Sparse MoE) и квантование изменили экономику LLM?
Sparse MoE разделяет сеть на специализированные блоки и при обработке каждого токена задействует лишь малую часть параметров, многократно ускоряя вывод. Квантование сжимает веса с 16 до 4 бит с минимальной потерей качества, позволяя запускать мощные модели на обычных видеокартах и ноутбуках.

Научная литература и источники

  1. Трансформер (модель машинного обучения) // Википедия (свободная энциклопедия): архитектура кодировщика-декодировщика, позиционное кодирование и self-attention. [ru.wikipedia.org]
  2. Transformer (deep learning) // Wikipedia: predecessors, seq2seq attention, training and scaling. [en.wikipedia.org]
  3. Vaswani A. et al. Attention Is All You Need // Advances in Neural Information Processing Systems (NeurIPS). — 2017. [arxiv.org]
  4. Bahdanau D., Cho K., Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate. — 2014. [arxiv.org]
  5. Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. — 1997. — Vol. 9, No. 8. — P. 1735–1780. [doi.org]