Технология и формат 1970–1974 гг.

Реляционные базы данных и SQL (Эдгар Кодд)

Математическая модель организации данных на основе теории множеств и декларативный язык запросов SQL, отделившие бизнес-логику и государственные реестры от физического размещения файлов на носителях.

Краткая справка

В 1969–1970 годах исследователь IBM Эдгар Кодд предложил реляционную модель данных, основанную на теории множеств и логике предикатов первого порядка. Взамен жёстких физических указателей в иерархических (IMS) и сетевых (CODASYL) СУБД он ввёл абстрактные отношения и ключи, а Дональд Чемберлин и Рэймонд Бойс в рамках проекта System R создали в 1974 году декларативный язык SEQUEL (позднее SQL). Стандартизация SQL превратила реляционные СУБД в основу мирового банкинга, госуправления и электронной коммерции.

Схема базовых понятий реляционной модели данных: отношение, заголовок, атрибуты, кортежи и домены
Структурная схема основных понятий реляционной модели данных (отношение, атрибуты, кортежи и домены) — логической абстракции, сформулированной Эдгаром Коддом. Иллюстрация: User:AutumnSnow, CC BY-SA 3.0

Кризис навигационных СУБД, исследования IBM и борьба научных школ

К концу 1960-х годов рост банковских операций, авиационного бронирования и аэрокосмических программ поставил вычислительные центры перед программным кризисом. Господствовавшие иерархическая система IBM IMS (созданная для программы «Аполлон») и сетевая модель консорциума CODASYL требовали от программиста навигационной логики: код вручную следовал по физическим указателям на магнитных дисках и лентах. Любая перестройка хранения или добавление индекса ломали приложения, делая сопровождение баз непомерно дорогим.

Решение предложил математик лаборатории IBM в Сан-Хосе Эдгар Фрэнк Кодд. Опираясь на теорию множеств, работы Дэвида Чайлдса (1968) и логику предикатов первого порядка, он подготовил в 1969 году внутренний отчёт, а в июне 1970 года опубликовал в Communications of the ACM классическую статью «A Relational Model of Data for Large Shared Data Banks», обосновав полный разрыв между логикой данных и физическим хранением.

Внутри IBM концепция Кодда встретила жёсткое сопротивление коммерческих отделов, оберегавших доходы от продаж мейнфреймов и лицензий IMS и сомневавшихся в скорости реляционных операций. Перелом обеспечило внешнее соперничество: Калифорнийский университет в Беркли при поддержке грантов DARPA и NSF запустил в середине 1970-х проект Ingres (Майкл Стоунбрейкер и Юджин Вонг, язык QUEL). Чтобы не уступить инициативу, исследовательское крыло IBM развернуло прототип System R. В 1974 году на симпозиуме ACM SIGFIDET сотрудники команды Дональд Чемберлин и Рэймонд Бойс представили декларативный язык SEQUEL, вскоре сокращённый до SQL из-за спора о товарном знаке.

Математическая архитектура и причины поражения конкурирующих моделей

Реляционная модель строится на математическом понятии отношения, объединяющего заголовок (набор именованных атрибутов и типов-доменов) и тело (множество уникальных неупорядоченных кортежей). Информационный принцип Кодда гласит: все сведения в базе выражены исключительно значениями атрибутов в кортежах — без скрытых машинных указателей. Целостность задаётся декларативно через первичные и внешние ключи, а реляционная алгебра (проекция, фильтрация, соединение, объединение, разность) и теория нормализации на базе функциональных зависимостей устраняют дублирование и аномалии изменений.

Прорывом SQL и System R стало декларативное программирование с опорой на стоимостной оптимизатор запросов: разработчик указывает в операторе SELECT лишь какие данные нужны, а СУБД сама выбирает порядок соединений и индексы. Это позволило формулировать произвольные аналитические запросы спустя годы после создания схемы базы.

Конкурирующие форматы проиграли из-за жёсткости архитектуры и динамики стандартизации. Иерархическая IMS плохо выражала связи «многие ко многим», а сетевые СУБД CODASYL привязывали код к топологии графа. Объектные СУБД начала 1990-х годов не выработали единого алгебраического стандарта и проиграли простоте аналитики. Даже язык QUEL проекта Ingres, который многие теоретики — включая Кодда, критиковавшего SQL за дубли строк, порядок столбцов и трёхзначную логику NULL — считали математически строже, уступил напору IBM и Oracle. Компания Ларри Эллисона, Боба Майнера и Эда Оутса (основана в 1977 году после контракта на прототип с кодовым именем «Oracle» для ЦРУ) опередила бюрократию IBM и выпустила Oracle V2 уже в 1979 году, а стандарт ANSI SQL-86 закрепил SQL как глобальный отраслевой язык.

Трансформация экономики, государственного управления и повседневной жизни

Реляционные СУБД превратили разрозненные ведомственные картотеки и массивы перфокарт в единые операционные контуры современной экономики. Механизм транзакций с гарантиями атомарности, согласованности, изолированности и долговечности (ACID), отработанный на базе System R и ранних коммерческих систем, сделал возможными круглосуточный межбанковский клиринг, сети банкоматов, массовые пластиковые карты и глобальные биржевые торги.

Не менее радикально изменились корпоративное управление и государственная бюрократия. В 1980–1990-х годах на реляционном фундаменте выросли системы планирования ресурсов предприятия (ERP) и управления клиентами (CRM), позволив корпорациям координировать запасы и финансы в реальном времени. Государства перевели на SQL-базы налоговые реестры, земельные кадастры, пенсионные фонды, пограничный контроль и медицинский учёт, а интернет-эпоха сделала реляционные базы невидимым двигателем электронной торговли, онлайн-бронирования и цифрового банкинга.

От клиент-серверной эпохи к облачному масштабу и ренессансу SQL

Появление доступных мини-компьютеров, рабочих станций UNIX и серверов x86 в 1980–1990-х годах разрушило монополию мейнфреймов, вызвав клиент-серверный бум вокруг Oracle, IBM DB2, Sybase и Microsoft SQL Server. Одновременно открытое сообщество создало PostgreSQL (выросшую из проекта Postgres Стоунбрейкера в Беркли) и MySQL, ставшие стандартом веб-разработки, а накопление исторических массивов породило аналитические хранилища (OLAP).

В конце 2000-х взрывной рост веб-трафика и неструктурированных документов выявил пределы вертикального масштабирования одноузловых СУБД, вызвав волну нереляционных баз NoSQL (документных, ключ-значение и графовых), жертвовавших строгой согласованностью ради горизонтального распределения. Однако в 2010–2020-х годах произошёл подлинный «ренессанс SQL»: распределённые NewSQL-системы (Google Spanner, CockroachDB) вернули строгие транзакции и реляционную целостность в глобальные кластеры, а диалекты SQL сохранили роль универсального языка аналитики больших данных.

Цепочка влияния: причины и последствия

Исторический «эффект домино» — какие предпосылки вызвали это событие или явление и к каким переменам оно привело.

К чему это привело дальше (последствия)

Технология и формат1994–1995 гг.Технологический катализатор

Электронная коммерция (Amazon, eBay и маркетплейсы)

Стандартизация ANSI SQL-86 и гарантии ACID превратили реляционные СУБД в технологический фундамент глобального банкинга, корпоративных ERP-систем и веб-торговли.

Технология и формат2003–2006 гг.Эволюция технологии и стандарта

Распределённые хранилища данных и объектные облака (GFS, S3)

Масштаб интернет-трафика XXI века породил горизонтально масштабируемые NoSQL-хранилища, а затем NewSQL-системы, вернувшие транзакции и SQL в распределённые облака.

Государства и ключевые связи в графе

Связанные личности, технологии, места и понятия

Технология и формат Электронная коммерция (Amazon, eBay и маркетплейсы) 1994–1995 гг. — Технологический катализатор
Технология и формат Распределённые хранилища данных и объектные облака (GFS, S3) 2003–2006 гг. — Эволюция технологии и стандарта

Частые вопросы и ответы

Почему Эдгар Кодд критиковал язык SQL, хотя именно он принёс триумф реляционным базам?
Кодд считал SQL лишь несовершенным инженерным приближением к своей строгой математической модели. В отличие от чистых множеств, SQL-таблицы допускают дублирующиеся строки, имеют фиксированный порядок столбцов и используют значение NULL, порождающее трёхзначную логику вместо классической булевой.
Почему иерархическая модель IBM IMS и сетевая модель CODASYL проиграли реляционной?
Обе дореляционные архитектуры привязывали программный код к физическому маршруту и жёстким указателям на диске. При малейшем изменении структуры хранения приложения ломались, а построение непредвиденных аналитических выборок требовало длительной разработки навигационных программ.
Как коммерческая компания Oracle сумела опередить IBM, создавшую теорию и сам язык SQL?
Руководство IBM долго опасалось, что новая реляционная СУБД подорвёт продажи прибыльной мейнфрейм-системы IMS. Пока IBM медлила с выводом System R на рынок, Ларри Эллисон и его партнёры использовали открытые научные публикации IBM и опыт проекта для ЦРУ, выпустив коммерческую Oracle V2 уже в 1979 году.
В чём принципиальная разница между декларативным запросом SQL и императивным программированием?
В императивном подходе программист детально описывает алгоритм обхода файлов, циклов и указателей. В декларативном SQL разработчик указывает лишь логический критерий искомого результата, передавая задачу выбора оптимального плана чтения дисков и индексов встроенному оптимизатору СУБД.
Вытеснили ли технологии NoSQL классические реляционные базы данных в XXI веке?
Нет. NoSQL-системы заняли важные ниши в обработке слабоструктурированных документов, потоковых событий и кэшировании, однако строгая ссылочная целостность, ACID-транзакции и выразительность SQL оказались незаменимы, что привело к появлению распределённых NewSQL-систем и внедрению SQL поверх больших данных.

Научная литература и источники

  1. Codd E. F. A Relational Model of Data for Large Shared Data Banks // Communications of the ACM. — 1970. — Vol. 13, No. 6. — P. 377–387. [doi.org]
  2. Архивный препринт классической статьи Э. Ф. Кодда «A Relational Model of Data for Large Shared Data Banks» (1970) в материалах Пенсильванского университета. [www.seas.upenn.edu]
  3. Date C. J. An Introduction to Database Systems. — 8th ed. — Boston: Pearson Education / Addison-Wesley, 2004. [archive.org]
  4. Реляционная модель данных // Википедия (русскоязычная энциклопедическая статья, обзор теории и литературы). [ru.wikipedia.org]
  5. Relational model // Wikipedia (подробная формализация теории множеств, нормализации и SQL). [en.wikipedia.org]