Технология и формат 2003–2006 гг.

Распределённые хранилища данных и объектные облака (GFS, S3)

От кластерных файловых систем и Google File System (2003) к публичному объектному облаку Amazon S3 (2006) — архитектура, сделавшая хранение петабайтов массовой услугой

Краткая справка

В 2003–2006 годах Google File System (GFS) и сервис Amazon S3 перестроили мировую инфраструктуру хранения информации. Отказ от дорогих отказоустойчивых массивов SAN в пользу кластеров серийных серверов с репликацией блоков и плоским HTTP-доступом к объектам превратил хранение данных в эластичную облачную услугу и заложил фундамент эпохи больших данных и нейросетей.

Астрономическая визуализация звёздного скопления Девы как иллюстрация кластерной структуры
Визуализация звёздного скопления Девы (автор — Michael Jones, Wikimedia Commons, CC BY 4.0), иллюстрирующая объединение множества отдельных элементов в единую кластерную систему. Иллюстрация: Michael Jones, CC BY 4.0

Предпосылки, финансирование и рождение новой архитектуры

С 1970-х по 1990-е годы корпоративное хранение данных развивалось через вертикальное масштабирование и привязку к дорогому специализированному оборудованию. В 1970-е годы мейнфреймы IBM использовали выделенные дисковые каналы для совместного доступа, в 1976 году DEC создала протокол File Access Listener (FAL), а в 1984 году Sun Microsystems представила сетевую файловую систему NFS поверх IP. Позже распространились Andrew File System (AFS), распределённая архитектура DDM от IBM, сети хранения SAN на базе Fibre Channel и iSCSI, а также серверы NAS от EMC и NetApp. Все они исходили из высокой надёжности «железа»: сбой диска считался редкой аварией, а сохранность достигалась дублированием дорогих компонентов внутри одного массива.

К началу 2000-х годов бурный рост веб-индекса разрушил экономику таких массивов. Поисковая компания Google, поддержанная венчурными фондами Sequoia Capital и Kleiner Perkins, столкнулась с задачей хранить петабайты страниц и журналов запросов. Закупка проприетарных отказоустойчивых стоек делала поиск убыточным, и системные инженеры Санджай Гемават, Ховард Гобиофф и Шунь-Так Люн перевернули подход: объединили тысячи недорогих серийных серверов x86 с обычными дисками, приняв ежедневные поломки оборудования за норму, с которой справляется сам программный слой. В октябре 2003 года на конференции SOSP вышла их программная статья «The Google File System» (GFS).

Сходный кризис масштабирования решала корпорация Amazon под руководством Джеффа Безоса. Быстрый рост глобальной онлайн-торговли требовал для тысяч разработчиков предсказуемого и дешёвого хранилища без многомесячного согласования закупок. Инженерная группа в Кейптауне (Крис Пинкхэм, Виллем ван Бильон, Кристофер Браун) совместно с архитекторами в Сиэтле (Алланом Вермёленом, Вернером Фогельсом) преобразовала внутренние сервисы в коммерческую платформу AWS, запустив 14 марта 2006 года публичное объектное облако Amazon S3 (Simple Storage Service) с оплатой исключительно по факту потребления.

Принцип действия и причины поражения конкурирующих систем

GFS и Amazon S3 отказались от жёсткой файловой семантики стандарта POSIX. В GFS каждый крупный файл делился на чанки по 64 мегабайта и автоматически реплицировался минимум на три узла в разных серверных стойках. Единственный узел-координатор (Master) держал карту метаданных в оперативной памяти, а поток чтения и записи шёл напрямую между клиентом и серверами хранения (Chunkservers). Для параллельной работы сотен процессов запись оптимизировали под атомарное добавление в конец файла (append) вместо случайной перезаписи байтов.

Amazon S3 упразднила и древовидную иерархию каталогов, и блочное монтирование. Неизменяемые объекты (размером до 5 терабайт) с уникальными ключами и метаданными размещались в плоских бакетах, а доступ шёл через простые HTTP-запросы REST API с автоматическим распределением копий между несколькими независимыми зонами дата-центров. При работе на веб-масштабах конкурирующие технологии уступили по экономическим и архитектурным причинам:

  • Аппаратные комплексы SAN и NAS — проиграли из-за кратно более высокой цены терабайта, потолка пропускной способности контроллеров и жёсткой привязки к одному поставщику.
  • Строгие POSIX-системы (NFS, AFS, DCE/DFS) — замедлялись при росте кластеров до тысяч узлов из-за накладных расходов на распределённые блокировки, механизмы ограждения узлов (fencing) и согласование побайтового кэша.
  • Магнитные ленточные библиотеки (LTO) — уступили в скорости произвольного доступа, поскольку поиск фрагмента на кассете занимал минуты вместо миллисекунд.

Классические параллельные POSIX-системы (Lustre, IBM GPFS) сохранили позиции лишь в суперкомпьютерных расчётах (HPC), где приоритетом оставался синхронный вывод по стандарту MPI, а не эластичная облачная экономика.

Трансформация экономики, науки, культуры и оборонной сферы

GFS и S3 перевели ИТ-рынок от капитальных затрат на собственные серверные залы (CapEx) к гибким операционным расходам (OpEx). Стартапы уровня Netflix, Dropbox, Airbnb и Spotify получили возможность расти до глобального охвата за считаные дни без закупки дисковых полок. Вслед за публикациями о GFS (2003) и фреймворке MapReduce (2004) Даг Каттинг и Майк Кафарелла в 2006 году создали открытую файловую систему HDFS и платформу Apache Hadoop, сделав петабайтную аналитику доступной банкам, телекомам и розничным сетям.

В науке объектные хранилища приняли массивы геномики, климатических моделей, астрономических обзоров и детекторов ЦЕРН, а в 2010–2020-е годы стали базой для накопления мультимодальных датасетов и контрольных точек обучения больших нейросетей ИИ. В повседневной культуре они вытеснили оптические диски и локальные архивы облачными фотогалереями, потоковым видео и совместным редактированием документов. В государственном и военном секторах защищённые изолированные контуры (уровня AWS GovCloud и национальных суверенных облаков) обеспечили сбор и анализ спутниковых снимков дистанционного зондирования, телеметрии беспилотных систем и тыловой логистики.

Эволюция и историческое наследие

Когда экспоненциальный рост числа мелких файлов и видеоконтента перегрузил единый Master-узел GFS, Google около 2010 года перешла на распределённую систему следующего поколения Colossus (GFS II) с шардированием метаданных и помехоустойчивым кодированием Рида — Соломона, снизившим избыточность хранения с 200 % (при тройной репликации) примерно до 50 %. В открытой экосистеме на смену монопольным продуктам пришли унифицированное хранилище Ceph (алгоритм CRUSH Сэйджа Вайля, объединяющий объектный, блочный и файловый доступ), высокоскоростной сервер MinIO и архитектуры Data Lakehouse поверх форматов Parquet, Apache Iceberg и Delta Lake. Интерфейс Amazon S3 API де-факто утвердился как универсальный промышленный стандарт современного облачного хранения данных.

Цепочка влияния: причины и последствия

Исторический «эффект домино» — какие предпосылки вызвали это событие или явление и к каким переменам оно привело.

Что привело к этому (истоки и предпосылки)

Технология и формат1970–1974 гг.Эволюция технологии и стандарта

Реляционные базы данных и SQL (Эдгар Кодд)

Масштаб интернет-трафика XXI века породил горизонтально масштабируемые NoSQL-хранилища, а затем NewSQL-системы, вернувшие транзакции и SQL в распределённые облака.

К чему это привело дальше (последствия)

Технология и формат2006 г.Технологический катализатор

Виртуализация и облачные вычисления

Запуск Amazon S3 в марте 2006 года превратил распределённое объектное хранение в коммерческий API-сервис и открыл рынок публичных облачных платформ.

Государства и ключевые связи в графе

Связанные личности, технологии, места и понятия

Технология и формат Виртуализация и облачные вычисления 2006 г. — Технологический катализатор
Технология и формат Реляционные базы данных и SQL (Эдгар Кодд) 1970–1974 гг. — Эволюция технологии и стандарта

Частые вопросы и ответы

Почему Google отказалась от дорогих корпоративных массивов SAN в пользу серийных серверов?
При росте веб-индекса до сотен терабайт и петабайт стоимость проприетарных отказоустойчивых массивов возрастала экспоненциально. Программная репликация чанков по 64 МБ на обычных серверах x86 оказалась кратно дешевле и проще масштабировалась горизонтально.
В чём принципиальное отличие объектного хранилища Amazon S3 от традиционной файловой системы?
Традиционные и сетевые ФС (POSIX, NFS) оперируют иерархией каталогов, блокировками и записью в произвольное смещение байтов. S3 хранит цельные объекты с метаданными в плоских бакетах и работает по протоколу HTTP/REST, что устраняет узкие места синхронизации.
Как связаны Google File System и проект Apache Hadoop?
Хотя Google не открывала исходный код GFS, её подробное описание в статье 2003 года (в связке с публикацией MapReduce 2004 года) стало прямым архитектурным чертежом, по которому в 2006 году была создана открытая система HDFS и экосистема Hadoop.
Почему в GFS II (Colossus) перешли от тройной репликации к кодам стирания (erasure coding)?
Тройная репликация увеличивает физический расход дисков в три раза (накладные расходы 200 %). Математическое кодирование Рида — Соломона позволяет гарантировать ту же сохранность при потере нескольких узлов, сокращая накладные расходы примерно до 50 %.

Научная литература и источники

  1. Ghemawat S., Gobioff H., Leung S.-T. The Google File System // Proceedings of the 19th ACM Symposium on Operating Systems Principles (SOSP '03). 2003. [research.google.com]
  2. Распределённая файловая система // Википедия (свободная энциклопедия). [ru.wikipedia.org]
  3. Google File System // Wikipedia, the free encyclopedia. [en.wikipedia.org]
  4. Amazon S3 // Wikipedia, the free encyclopedia. [en.wikipedia.org]