От модели нейрона к военным контрактам и спору за бюджеты ИИ
Теоретическую основу нейросетевых моделей заложили формальный пороговый нейрон Уоррена Мак-Каллока и Уолтера Питтса (1943) и правило синаптической пластичности Дональда Хебба (1949). В 1957 году нейрофизиолог Фрэнк Розенблатт в Корнеллской лаборатории аэронавтики (Буффало) смоделировал на ЭВМ IBM 704 кибернетическую модель восприятия — перцептрон — и в 1958 году изложил её принципы в журнале Psychological Review.
Главными заказчиками и спонсорами проекта стали военные ведомства США. Управление военно-морских исследований (ONR, куратор Марвин Деникофф) выделило группе Розенблатта долгосрочные гранты («Проект PARA», 1957–1963; «Программа когнитивных систем», 1959–1970) на суммы порядка сотен тысяч долларов при соучастии Центра воздушного развития в Роме и Института оборонного анализа. Примечательно институциональное размежевание: обладатель многомиллионных бюджетов, офис IPTO агентства ARPA во главе с Дж. К. Р. Ликлайдером к середине 1960-х сделал ставку на символьный искусственный интеллект Герберта Саймона и Аллена Ньюэлла, оставив коннекционизм скромным контрактам ВМС. Построенный в конце 1959 года и показанный публике 23 июня 1960 года нейрокомпьютер «Марк-1» также испытывался ЦРУ и Национальным центром фотодешифровки (NPIC, 1960–1966) для распознавания силуэтов самолётов и кораблей на аэрофотоснимках.
Однако громкие заявления на флотской пресс-конференции 1958 года породили сенсационные статьи в New York Times о «зародыше сознательной машины», что вызвало жёсткое отторжение в академической среде. Несмотря на взвешенный тон монографии Розенблатта «Принципы нейродинамики» (1962), вышедшая в 1969 году книга Марвина Минского и Сеймура Пейперта «Перцептроны» на полтора десятилетия перекроила потоки грантов в пользу логико-символьного ИИ.
Механизм работы перцептрона, проблема XOR и прорыв 1986 года
Классический трёхслойный альфа-перцептрон «Марк-1» объединял три уровня: сенсорный слой S из 400 фотоэлементов (сетка 20×20), скрытый ассоциативный слой A из 512 элементов, соединённый с рецепторами фиксированными случайными перемычками, и выходной слой R из 8 решающих элементов. Обучаемыми были лишь веса связей A–R, воплощённые в виде потенциометров, которые вращали электромоторы. При верной классификации веса не менялись, а при ошибке сдвигались в сторону целевого ответа; теорема сходимости (доказанная Розенблаттом и строго оформленная Альбертом Новиковым в 1962 году) гарантировала нахождение решения для любого линейно разделимого множества за конечное число шагов.
Терминологическая путаница закрепила за перцептроном образ простейшего однослойного классификатора, который строит единственную разделяющую гиперплоскость и бессилен перед нелинейной функцией «исключающее ИЛИ» (XOR) и задачами чётности, разобранными Минским и Пейпертом. В действительности уже сам Розенблатт в 1962 году исследовал многослойные и рекуррентные схемы с обучаемым первым слоем, но не имел эффективного алгоритма настройки глубоких весов: ступенчатая пороговая функция не дифференцировалась и не позволяла распределить ошибку между скрытыми нейронами.
Прорыв обеспечил метод обратного распространения ошибки (backpropagation), заменивший жёсткий порог гладкой функцией активации (сигмоидой). Обратный режим автоматического дифференцирования по цепному правилу сформулировал финский математик Сеппо Линнайнмаа в 1970 году; в 1974 году Пол Вербос в гарвардской диссертации применил его к нейронным сетям, а в 1985 году метод переоткрыли Дэвид Паркер и Ян Лекун. Поворотной точкой стала статья Дэвида Румельхарта, Джеффри Хинтона и Рональда Уильямса в журнале Nature (октябрь 1986 г.) и труды группы Parallel Distributed Processing (поддержанные System Development Foundation и ONR), показавшие, как обратный градиент обучает скрытые слои и легко решает задачу XOR.
Почему «Марк-1» уступил цифре и как зажглась «зима ИИ»
Закат аппаратных нейромашин в 1960-х диктовался прежде всего экономикой вычислений. Последний гигантский проект Розенблатта — четырёхслойный речевой перцептрон «Тобермори» с 12 000 весов на тороидальных магнитных сердечниках (1961–1967) — занимал целую комнату, но ещё до запуска проиграл программной эмуляции на цифровых мейнфреймах IBM 7090/7094, которые перенастраивались изменением кода без перепайки узлов.
Вслед за книгой 1969 года и гибелью Розенблатта в 1971 году наступила «первая зима ИИ»: фонды финансировали базы правил и язык LISP. Однако к началу 1980-х символьные экспертные системы зашли в тупик на неструктурированных сенсорных данных — распознавании почерка, зашумлённой речи и образов. Прорыв 1986 года немедленно вернул корпоративные и государственные инвестиции в коннекционизм, открыв путь к автоматической сортировке почтовых индексов, обработке банковских чеков и промышленной диагностике.
Наследие: от ядерных методов к глубокому обучению
После 1986 года линия Розенблатта и градиентное обучение породили два взаимодополняющих направления. Теория линейного перцептрона через метод потенциальных функций М. А. Айзермана (1964) и работы о максимальном зазоре (Краут и Мезар, 1987; Фройнд и Шапире, 1998–1999) легла в основу метода опорных векторов (SVM), а многоклассовый перцептрон (М. Коллинз, 2002) стал классикой обработки естественного языка.
В свою очередь, многослойный перцептрон с обратным распространением ошибки послужил фундаментом для свёрточных сетей (LeNet, решивших проблему инвариантности к сдвигам, которую критиковал Минский) и рекуррентных архитектур. Когда в 2010-х годах появились мощные графические процессоры и большие размеченные массивы данных, именно математический аппарат 1986 года обеспечил триумф глубокого обучения, тогда как сам перцептрон «Марк-1» сохранился в Смитсоновском музее как памятник истокам нейроинженерии.
