Технология и формат 1957–1986 гг.

Перцептрон Розенблатта и обратное распространение ошибки

Эволюция нейросетевой парадигмы от аппаратного нейрокомпьютера «Марк-1» Фрэнка Розенблатта (1957–1960) через «зиму ИИ» к многослойному обучению методом обратного распространения ошибки (1986)

Краткая справка

Предложенный нейрофизиологом Фрэнком Розенблаттом в 1957 году и воплощённый в 1960 году в машине «Марк-1» перцептрон стал первой практически обучаемой моделью искусственной нейронной сети. Критика линейной ограниченности однослойных сетей в книге Минского и Пейперта (1969) заморозила финансирование коннекционизма в пользу символьного ИИ, пока в 1986 году Румельхарт, Хинтон и Уильямс не популяризировали обучение многослойных сетей методом обратного распространения ошибки.

Принципиальная схема классического перцептрона Розенблатта с сенсорным полем S, ассоциативными элементами A и решающим R-слоем
Обобщённая схема трёхслойного перцептрона Фрэнка Розенблатта: рецепторы S, ассоциативный слой A и выходные решающие элементы R (автор Alex Krainov, общественное достояние). Иллюстрация: Alex Krainov, Public domain

От модели нейрона к военным контрактам и спору за бюджеты ИИ

Теоретическую основу нейросетевых моделей заложили формальный пороговый нейрон Уоррена Мак-Каллока и Уолтера Питтса (1943) и правило синаптической пластичности Дональда Хебба (1949). В 1957 году нейрофизиолог Фрэнк Розенблатт в Корнеллской лаборатории аэронавтики (Буффало) смоделировал на ЭВМ IBM 704 кибернетическую модель восприятия — перцептрон — и в 1958 году изложил её принципы в журнале Psychological Review.

Главными заказчиками и спонсорами проекта стали военные ведомства США. Управление военно-морских исследований (ONR, куратор Марвин Деникофф) выделило группе Розенблатта долгосрочные гранты («Проект PARA», 1957–1963; «Программа когнитивных систем», 1959–1970) на суммы порядка сотен тысяч долларов при соучастии Центра воздушного развития в Роме и Института оборонного анализа. Примечательно институциональное размежевание: обладатель многомиллионных бюджетов, офис IPTO агентства ARPA во главе с Дж. К. Р. Ликлайдером к середине 1960-х сделал ставку на символьный искусственный интеллект Герберта Саймона и Аллена Ньюэлла, оставив коннекционизм скромным контрактам ВМС. Построенный в конце 1959 года и показанный публике 23 июня 1960 года нейрокомпьютер «Марк-1» также испытывался ЦРУ и Национальным центром фотодешифровки (NPIC, 1960–1966) для распознавания силуэтов самолётов и кораблей на аэрофотоснимках.

Однако громкие заявления на флотской пресс-конференции 1958 года породили сенсационные статьи в New York Times о «зародыше сознательной машины», что вызвало жёсткое отторжение в академической среде. Несмотря на взвешенный тон монографии Розенблатта «Принципы нейродинамики» (1962), вышедшая в 1969 году книга Марвина Минского и Сеймура Пейперта «Перцептроны» на полтора десятилетия перекроила потоки грантов в пользу логико-символьного ИИ.

Механизм работы перцептрона, проблема XOR и прорыв 1986 года

Классический трёхслойный альфа-перцептрон «Марк-1» объединял три уровня: сенсорный слой S из 400 фотоэлементов (сетка 20×20), скрытый ассоциативный слой A из 512 элементов, соединённый с рецепторами фиксированными случайными перемычками, и выходной слой R из 8 решающих элементов. Обучаемыми были лишь веса связей A–R, воплощённые в виде потенциометров, которые вращали электромоторы. При верной классификации веса не менялись, а при ошибке сдвигались в сторону целевого ответа; теорема сходимости (доказанная Розенблаттом и строго оформленная Альбертом Новиковым в 1962 году) гарантировала нахождение решения для любого линейно разделимого множества за конечное число шагов.

Терминологическая путаница закрепила за перцептроном образ простейшего однослойного классификатора, который строит единственную разделяющую гиперплоскость и бессилен перед нелинейной функцией «исключающее ИЛИ» (XOR) и задачами чётности, разобранными Минским и Пейпертом. В действительности уже сам Розенблатт в 1962 году исследовал многослойные и рекуррентные схемы с обучаемым первым слоем, но не имел эффективного алгоритма настройки глубоких весов: ступенчатая пороговая функция не дифференцировалась и не позволяла распределить ошибку между скрытыми нейронами.

Прорыв обеспечил метод обратного распространения ошибки (backpropagation), заменивший жёсткий порог гладкой функцией активации (сигмоидой). Обратный режим автоматического дифференцирования по цепному правилу сформулировал финский математик Сеппо Линнайнмаа в 1970 году; в 1974 году Пол Вербос в гарвардской диссертации применил его к нейронным сетям, а в 1985 году метод переоткрыли Дэвид Паркер и Ян Лекун. Поворотной точкой стала статья Дэвида Румельхарта, Джеффри Хинтона и Рональда Уильямса в журнале Nature (октябрь 1986 г.) и труды группы Parallel Distributed Processing (поддержанные System Development Foundation и ONR), показавшие, как обратный градиент обучает скрытые слои и легко решает задачу XOR.

Почему «Марк-1» уступил цифре и как зажглась «зима ИИ»

Закат аппаратных нейромашин в 1960-х диктовался прежде всего экономикой вычислений. Последний гигантский проект Розенблатта — четырёхслойный речевой перцептрон «Тобермори» с 12 000 весов на тороидальных магнитных сердечниках (1961–1967) — занимал целую комнату, но ещё до запуска проиграл программной эмуляции на цифровых мейнфреймах IBM 7090/7094, которые перенастраивались изменением кода без перепайки узлов.

Вслед за книгой 1969 года и гибелью Розенблатта в 1971 году наступила «первая зима ИИ»: фонды финансировали базы правил и язык LISP. Однако к началу 1980-х символьные экспертные системы зашли в тупик на неструктурированных сенсорных данных — распознавании почерка, зашумлённой речи и образов. Прорыв 1986 года немедленно вернул корпоративные и государственные инвестиции в коннекционизм, открыв путь к автоматической сортировке почтовых индексов, обработке банковских чеков и промышленной диагностике.

Наследие: от ядерных методов к глубокому обучению

После 1986 года линия Розенблатта и градиентное обучение породили два взаимодополняющих направления. Теория линейного перцептрона через метод потенциальных функций М. А. Айзермана (1964) и работы о максимальном зазоре (Краут и Мезар, 1987; Фройнд и Шапире, 1998–1999) легла в основу метода опорных векторов (SVM), а многоклассовый перцептрон (М. Коллинз, 2002) стал классикой обработки естественного языка.

В свою очередь, многослойный перцептрон с обратным распространением ошибки послужил фундаментом для свёрточных сетей (LeNet, решивших проблему инвариантности к сдвигам, которую критиковал Минский) и рекуррентных архитектур. Когда в 2010-х годах появились мощные графические процессоры и большие размеченные массивы данных, именно математический аппарат 1986 года обеспечил триумф глубокого обучения, тогда как сам перцептрон «Марк-1» сохранился в Смитсоновском музее как памятник истокам нейроинженерии.

Цепочка влияния: причины и последствия

Исторический «эффект домино» — какие предпосылки вызвали это событие или явление и к каким переменам оно привело.

К чему это привело дальше (последствия)

Технология и формат1958–2020-е гг.Исторический предшественник

Искусственные нейросети, архитектура Transformer и LLM

Многослойные сети с обратным распространением ошибки и рекуррентный механизм внимания в seq2seq заложили математическую базу, которую архитектура Transformer перевела на параллельные вычисления.

Государства и ключевые связи в графе

Связанные личности, технологии, места и понятия

Технология и формат Искусственные нейросети, архитектура Transformer и LLM 1958–2020-е гг. — Исторический предшественник

Частые вопросы и ответы

Правда ли, что перцептрон Розенблатта принципиально не мог решить задачу XOR?
Не совсем. Задачу XOR неспособен решить простейший однослойный линейный классификатор без скрытых слоёв. В классическом же трёхслойном перцептроне Розенблатта слой A-элементов нелинейно проецирует входные сигналы в пространство большей размерности, позволяя разделить даже классы XOR; проблема состояла в том, что при фиксированных случайных S–A связях решение могло требовать слишком большого числа ассоциативных элементов.
Зачем для перцептрона 1986 года понадобилось заменять пороговую функцию на сигмоиду?
Алгоритм обратного распространения ошибки использует градиентный спуск и правило дифференцирования сложной функции. Ступенчатая функция Хевисайда в исходном перцептроне имеет нулевую производную почти всюду и разрыв в точке порога, поэтому через неё нельзя вычислить градиент; гладкие нелинейные функции (сигмоида, гиперболический тангенс) сделали возможным послойное обновление весов.
Кто первым придумал метод обратного распространения ошибки — Румельхарт и Хинтон?
Математическую схему эффективного обратного дифференцирования описал финский исследователь Сеппо Линнайнмаа в 1970 году, а первым к обучению искусственных нейросетей её применил Пол Вербос в диссертации 1974 года. Статья Дэвида Румельхарта, Джеффри Хинтона и Рональда Уильямса в Nature (1986) не стала абсолютно первым открытием идеи, но дала её ясное математическое и экспериментальное обоснование, вызвавшее бум нейросетей.
Почему книга Минского и Пейперта 1969 года так сильно затормозила развитие нейросетей?
Потому что строгий математический разбор вскрыл ограничения элементарных параллельных схем на задачах инвариантного распознавания и привлёк внимание финансирующих организаций (включая ARPA) к альтернативному символьному направлению ИИ. Вкупе с завышенными газетными обещаниями 1958 года и упадком аналоговых нейромашин это привело к оттоку грантов почти на полтора десятилетия.

Научная литература и источники

  1. Перцептрон // Википедия (русскоязычная версия, история модели, классификация и разбор заблуждений) [ru.wikipedia.org]
  2. Perceptron // Wikipedia (контракты ONR/CIA, устройство Mark I Perceptron и математические теоремы сходимости) [en.wikipedia.org]
  3. Rosenblatt F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain // Psychological Review. 1958. Vol. 65, No. 6. P. 386–408 [doi.org]
  4. Rumelhart D. E., Hinton G. E., Williams R. J. Learning representations by back-propagating errors // Nature. 1986. Vol. 323. P. 533–536 [doi.org]
  5. Mark I Perceptron Computer // National Museum of American History (Smithsonian Institution) [americanhistory.si.edu]