Интернет становится все более централизованным. По мере того как компании и частные лица все больше полагаются на централизованных облачных провайдеров для хранения данных, возрастает озабоченность по поводу конфиденциальности, цензуры и контроля пользователей, а также концентрации экономической власти в руках небольшого числа субъектов.

Хотя было несколько попыток предоставить альтернативы, современные децентрализованные сети хранения данных (DSN) часто не соответствуют базовым аспектам, таким как наличие надежных гарантий долговечности, эффективность работы или возможность масштабируемых доказательств хранения. Это, в свою очередь, приводит к решениям, которые либо: i) бесполезны, так как могут потерять данные; ii) не дружелюбны к децентрализации, так как требуют специализированного или дорогого оборудования, либо; iii) экономически нецелесообразны, так как обременяют провайдеров слишком большими затратами помимо затрат на само оборудование для хранения.

В этой статье мы представляем Codex, новую децентрализованную сеть хранения данных с кодированием стирания, которая пытается решить эти проблемы. Codex использует кодирование стирания как часть механизмов избыточности и доказательств хранения, сочетая его с доказательствами с нулевым разглашением и ленивым восстановлением для достижения настраиваемых гарантий долговечности при скромных требованиях к оборудованию и энергии. Центральным элементом Codex является концепция Движка Децентрализованной Долговечности (DDE), формализованная нами структура для систематического решения вопросов избыточности данных, удаленного аудита, восстановления, стимулов и распределения данных в децентрализованных системах хранения.

Мы описываем архитектуру и механизмы Codex, включая его маркетплейс и системы доказательств, и предоставляем предварительный анализ надежности с использованием модели Непрерывной Временной Цепи Маркова (CTMC) для оценки гарантий долговечности. Codex представляет собой шаг к созданию децентрализованного, устойчивого и экономически жизнеспособного уровня хранения, критически важного для более широкой децентрализованной экосистемы.

1. Введение

Производство данных растет ошеломляющими темпами, что имеет значительные последствия. Данные являются критическим активом для бизнеса, стимулируя принятие решений, стратегическое планирование и инновации. Люди все больше переплетают свою физическую жизнь с цифровым миром, тщательно документируя каждый аспект своей жизни, делая фотографии и видео, делясь своими взглядами и перспективами на текущие события, используя цифровые средства для общения и художественного самовыражения и т.д. Цифровые личности стали такими же важными, как и их физические аналоги, и эта тенденция только усиливается.

Однако текущая тенденция к централизации в интернете привела к ситуации, когда пользователи имеют мало или вообще не имеют контроля над своими личными данными и тем, как они используются. Крупные корпорации собирают, анализируют и монетизируют пользовательские данные, часто без согласия или прозрачности. Этот недостаток конфиденциальности оставляет людей уязвимыми для целевой рекламы, профилирования, слежки и потенциального неправомерного использования их личной информации.

Более того, концентрация данных и власти в руках нескольких централизованных субъектов создает значительный риск цензуры: платформы могут в одностороннем порядке решить удалить, изменить или подавить контент, который они считают нежелательным, эффективно ограничивая свободу выражения мнений пользователей и доступ к информации. Этот дисбаланс власти подрывает открытую и демократическую природу интернета, создавая эхо-камеры и ограничивая свободный обмен идеями.

Еще одним нежелательным аспектом централизации является экономический: по мере того как доминирование крупных технологических компаний в этой сфере превращается в олигополию, все доходы попадают в руки избранных немногих, в то время как барьер для входа становится все выше и выше.

Для решения этих проблем существует растущая потребность в децентрализованных технологиях. Децентрализованные технологии позволяют пользователям: i) владеть и контролировать свои данные, предоставляя безопасные и прозрачные механизмы для хранения и обмена данными, и ii) участвовать в экономике хранения в качестве провайдеров, позволяя частным лицам и организациям получать свою долю доходов. Пользователи могут выборочно делиться своими данными с доверенными сторонами, сохранять возможность отзывать доступ при необходимости и монетизировать свои данные и свое оборудование, если они того пожелают. Этот сдвиг парадигмы в сторону пользовательского контроля над данными и инфраструктурой имеет потенциал для создания более справедливой и прозрачной цифровой экосистемы.

Несмотря на их потенциальные преимущества, однако, отсутствие эффективного и надежного децентрализованного хранения оставляет ключевой пробел, который необходимо устранить, прежде чем можно будет серьезно рассматривать любую концепцию децентрализованного технологического стека.

В ответ на эти вызовы мы представляем Codex: новую децентрализованную сеть хранения данных с кодированием стирания, которая использует кодирование стирания для избыточности и эффективных доказательств хранения. Этот метод обеспечивает беспрецедентную надежность и позволяет хранить большие наборы данных, превышающие размер любого отдельного узла в сети, в долговечной и безопасной форме. Наши компактные и эффективные доказательства хранения могут обнаруживать и предотвращать катастрофическую потерю данных с высокой точностью, при этом требуя относительно скромных требований к оборудованию и электроэнергии - два предварительных условия для достижения истинной децентрализации. Кроме того, мы вводим и формализуем в этой статье понятие долговечности в децентрализованных сетях хранения через новую концепцию, которую мы называем Движком Децентрализованной Долговечности (DDE).

Остальная часть статьи организована следующим образом. Сначала мы обсуждаем контекст, на котором построен Codex (Раздел 2), расширяя проблемы централизованного облачного хранения и предоставляя информацию о предыдущих подходах к децентрализованным альтернативам - а именно, p2p-сетям, блокчейнам и DSN. Затем мы представляем концептуальную структуру, лежащую в основе Codex в Разделе 3 - Движок Децентрализованной Долговечности (DDE) - за которым следует более подробное описание механизмов Codex и того, как он материализуется как DDE в Разделе 4. Раздел 5 затем представляет предварительный анализ надежности, который помещает параметры хранения Codex рядом с более формальными гарантиями долговечности. Наконец, Раздел 6 предоставляет выводы и текущую работу.

2. Предыстория и контекст

В этом разделе мы обсуждаем контекст, на котором построен Codex. Мы начинаем с обсуждения проблем централизованного облачного хранения, а затем переходим к обзору предыдущих подходов к децентрализованным альтернативам - а именно, p2p-сетям, блокчейнам и DSN.

2.1 Проблемы централизованного облачного хранения

Централизованное облачное хранение стало доминирующей моделью для хранения данных в интернете. Крупные технологические компании, такие как Amazon, Google и Microsoft, предоставляют услуги облачного хранения, которые позволяют пользователям хранить и получать доступ к своим данным из любого места. Хотя эти услуги удобны и надежны, они также создают несколько проблем:

1. Конфиденциальность: Централизованные провайдеры облачного хранения имеют доступ к данным пользователей и могут использовать их для таргетированной рекламы, профилирования и других целей. Это создает значительные риски для конфиденциальности пользователей.

2. Цензура: Централизованные провайдеры могут в одностороннем порядке решить удалить или изменить контент, который они считают нежелательным. Это может привести к цензуре и ограничению свободы выражения мнений.

3. Экономическая концентрация: Доминирование нескольких крупных технологических компаний в сфере облачного хранения создает олигополию, где все доходы попадают в руки избранных немногих. Это создает высокий барьер для входа и ограничивает конкуренцию.

4. Уязвимость к атакам: Централизованные системы хранения являются привлекательными целями для хакеров и других злоумышленников. Одна успешная атака может привести к компрометации большого количества данных.

2.2 Предыдущие подходы к децентрализованному хранению

Было несколько попыток предоставить альтернативы централизованному облачному хранению. Вот некоторые из основных подходов:

1. P2P-сети: P2P-сети, такие как BitTorrent, позволяют пользователям обмениваться файлами напрямую, без необходимости в центральном сервере. Хотя это обеспечивает некоторую децентрализацию, P2P-сети часто не предоставляют надежных гарантий долговечности и могут быть уязвимы к атакам сибил.

2. Блокчейны: Блокчейны, такие как Ethereum, предоставляют децентрализованную платформу для хранения данных. Однако, из-за высокой стоимости хранения данных в блокчейне, этот подход не подходит для хранения больших объемов данных.

3. Децентрализованные сети хранения (DSN): DSN, такие как IPFS и Filecoin, пытаются предоставить децентрализованное решение для хранения данных. Однако, многие из этих систем либо не предоставляют надежных гарантий долговечности, либо требуют специализированного оборудования, либо экономически нецелесообразны.

Codex пытается решить эти проблемы, предоставляя децентрализованную сеть хранения данных с кодированием стирания, которая сочетает в себе надежность, эффективность и экономическую целесообразность.

3. Движки Децентрализованной Долговечности (DDE)

В этом разделе мы представляем концепцию Движка Децентрализованной Долговечности (DDE) - структуру, которую мы разработали для систематического решения вопросов долговечности в децентрализованных системах хранения. DDE представляет собой набор механизмов, которые работают вместе для обеспечения надежного хранения данных в децентрализованной среде.

3.1 Определение DDE

Движок Децентрализованной Долговечности (DDE) - это система, которая обеспечивает надежное хранение данных в децентрализованной сети. DDE состоит из следующих ключевых компонентов:

1. Механизмы избыточности: DDE использует кодирование стирания для создания избыточности данных. Это позволяет системе восстанавливать данные даже при потере некоторых фрагментов.

2. Механизмы удаленного аудита: DDE включает в себя протоколы для проверки того, что провайдеры хранения действительно хранят данные, которые они обещали хранить. Это достигается с помощью доказательств с нулевым разглашением.

3. Механизмы восстановления: DDE включает в себя протоколы для восстановления данных в случае их потери. Это может включать в себя ленивое восстановление, где восстановление происходит только при необходимости.

4. Механизмы стимулов: DDE использует криптоэкономические механизмы для стимулирования провайдеров хранения к правильному поведению. Это включает в себя награды за правильное хранение данных и штрафы за неправильное поведение.

5. Механизмы распределения данных: DDE включает в себя стратегии для распределения данных по сети, чтобы минимизировать риск потери данных и максимизировать доступность.

3.2 Преимущества DDE

DDE предлагает несколько преимуществ по сравнению с традиционными подходами к децентрализованному хранению:

1. Настраиваемые гарантии долговечности: DDE позволяет настраивать уровень избыточности и другие параметры для достижения желаемых гарантий долговечности.

2. Эффективность: DDE использует эффективные алгоритмы для кодирования стирания и доказательств хранения, что позволяет минимизировать требования к оборудованию и энергии.

3. Экономическая целесообразность: DDE использует криптоэкономические механизмы для создания устойчивой экономики хранения, где провайдеры могут получать доход от предоставления услуг хранения.

4. Масштабируемость: DDE может масштабироваться для хранения больших объемов данных, превышающих размер любого отдельного узла в сети.

3.3 Реализация DDE в Codex

Codex реализует DDE через следующие механизмы:

1. Кодирование стирания: Codex использует кодирование стирания для создания избыточности данных. Это позволяет системе восстанавливать данные даже при потере некоторых фрагментов.

2. Доказательства хранения: Codex использует доказательства с нулевым разглашением для проверки того, что провайдеры хранения действительно хранят данные.

3. Ленивое восстановление: Codex использует ленивое восстановление для минимизации накладных расходов на восстановление данных.

4. Маркетплейс: Codex включает в себя маркетплейс для сопоставления провайдеров хранения с клиентами и управления экономикой хранения.

5. Распределение данных: Codex использует стратегии для распределения данных по сети, чтобы минимизировать риск потери данных и максимизировать доступность.

4. Codex: Движок Децентрализованной Долговечности

В этом разделе мы описываем, как Codex реализует концепцию DDE, представленную в предыдущем разделе. Мы начинаем с обзора архитектуры Codex, а затем переходим к более подробному описанию его механизмов.

4.1 Архитектура Codex

Codex состоит из следующих основных компонентов:

1. Узлы хранения: Узлы хранения отвечают за хранение данных и предоставление доказательств хранения. Они участвуют в маркетплейсе, предлагая свои услуги хранения клиентам.

2. Клиентские узлы: Клиентские узлы взаимодействуют с узлами хранения для загрузки и скачивания данных. Они также участвуют в маркетплейсе, запрашивая услуги хранения.

3. Маркетплейс: Маркетплейс - это смарт-контракт, который сопоставляет провайдеров хранения с клиентами и управляет экономикой хранения.

4. Сеть P2P: Сеть P2P обеспечивает связь между узлами и обмен данными.

4.2 Механизмы Codex

Codex реализует следующие механизмы для обеспечения надежного хранения данных:

1. Кодирование стирания: Codex использует кодирование стирания для создания избыточности данных. Это позволяет системе восстанавливать данные даже при потере некоторых фрагментов.

2. Доказательства хранения: Codex использует доказательства с нулевым разглашением для проверки того, что провайдеры хранения действительно хранят данные. Это включает в себя:

   • Доказательства извлекаемости: Доказательства того, что данные могут быть извлечены из хранилища.
   • Доказательства хранения: Доказательства того, что данные действительно хранятся в хранилище.

3. Ленивое восстановление: Codex использует ленивое восстановление для минимизации накладных расходов на восстановление данных. Восстановление происходит только при необходимости, когда данные находятся под угрозой потери.

4. Маркетплейс: Маркетплейс Codex включает в себя следующие компоненты:

   • Запросы на хранение: Клиенты могут создавать запросы на хранение, указывая параметры, такие как размер данных, продолжительность хранения и награда.
   • Предложения хранения: Провайдеры хранения могут создавать предложения, указывая параметры, такие как доступное пространство, цена и условия.
   • Сопоставление: Маркетплейс сопоставляет запросы с предложениями на основе параметров и условий.
   • Управление: Маркетплейс управляет жизненным циклом запросов и предложений, включая создание, выполнение и завершение.

5. Распределение данных: Codex использует стратегии для распределения данных по сети, чтобы минимизировать риск потери данных и максимизировать доступность. Это включает в себя:

   • Распределение фрагментов: Фрагменты данных распределяются по узлам хранения для минимизации корреляции отказов.
   • Балансировка нагрузки: Нагрузка распределяется по узлам хранения для предотвращения перегрузки.

4.3 Гарантии долговечности

Codex предоставляет следующие гарантии долговечности:

1. Настраиваемые гарантии: Пользователи могут настраивать параметры хранения, такие как уровень избыточности и продолжительность хранения, для достижения желаемых гарантий долговечности.

2. Формальные гарантии: Codex предоставляет формальные гарантии долговечности через анализ надежности, который учитывает параметры системы и вероятность отказов.

3. Экономические гарантии: Codex использует криптоэкономические механизмы для обеспечения того, что провайдеры хранения имеют стимулы для правильного поведения и поддержания данных.

5. Анализ надежности

В этом разделе мы представляем предварительный анализ надежности Codex, используя модель Непрерывной Временной Цепи Маркова (CTMC) для оценки гарантий долговечности. Мы начинаем с описания модели, а затем переходим к результатам анализа.

5.1 Модель надежности

Мы моделируем надежность Codex с помощью CTMC, где состояния представляют собой различные конфигурации системы, а переходы между состояниями представляют собой события, такие как отказы узлов и восстановление данных. Модель учитывает следующие параметры:

1. Параметры узлов:

   • $\lambda$: Интенсивность отказов узлов (количество отказов в единицу времени).
   • $\mu$: Интенсивность восстановления узлов (количество восстановлений в единицу времени).

2. Параметры данных:

   • $k$: Количество исходных фрагментов данных.
   • $n$: Общее количество фрагментов после кодирования стирания.
   • $m$: Минимальное количество фрагментов, необходимых для восстановления данных.

3. Параметры сети:

   • $N$: Общее количество узлов в сети.
   • $S$: Количество узлов хранения.

5.2 Результаты анализа

Наш анализ показывает, что Codex может обеспечить высокие гарантии долговечности при разумных параметрах системы. Вот некоторые из ключевых результатов:

1. Вероятность потери данных: Вероятность потери данных уменьшается с увеличением уровня избыточности ($n/k$) и количества узлов хранения ($S$).

2. Время до потери данных: Среднее время до потери данных увеличивается с увеличением уровня избыточности и количества узлов хранения.

3. Влияние параметров: На надежность системы влияют следующие параметры:

   • Уровень избыточности: Более высокий уровень избыточности приводит к более высокой надежности.
   • Количество узлов хранения: Большее количество узлов хранения приводит к более высокой надежности.
   • Интенсивность отказов: Более низкая интенсивность отказов приводит к более высокой надежности.
   • Интенсивность восстановления: Более высокая интенсивность восстановления приводит к более высокой надежности.

5.3 Практические последствия

Наш анализ имеет следующие практические последствия для проектирования и эксплуатации систем на основе Codex:

1. Выбор параметров: Пользователи могут выбирать параметры системы, такие как уровень избыточности и количество узлов хранения, для достижения желаемых гарантий долговечности.

2. Мониторинг и обслуживание: Системы на основе Codex должны регулярно контролироваться и обслуживаться для поддержания надежности.

3. Масштабирование: Системы на основе Codex могут масштабироваться для хранения больших объемов данных при сохранении высоких гарантий долговечности.

6. Выводы и будущая работа

В этой статье мы представили Codex, новую децентрализованную сеть хранения данных с кодированием стирания, которая пытается решить проблемы централизованного облачного хранения. Мы ввели концепцию Движка Децентрализованной Долговечности (DDE) как структуру для систематического решения вопросов долговечности в децентрализованных системах хранения.

6.1 Основные выводы

Наши основные выводы включают:

1. DDE как структура: DDE предоставляет полезную структуру для проектирования и анализа децентрализованных систем хранения, систематически решая вопросы избыточности, удаленного аудита, восстановления, стимулов и распределения данных.

2. Эффективность Codex: Codex демонстрирует, что можно достичь высоких гарантий долговечности при разумных требованиях к оборудованию и энергии, используя кодирование стирания, доказательства с нулевым разглашением и ленивое восстановление.

3. Экономическая целесообразность: Codex показывает, что можно создать устойчивую экономику хранения, где провайдеры могут получать доход от предоставления услуг хранения, а клиенты могут получать надежные услуги хранения по конкурентоспособным ценам.

6.2 Будущая работа

Наша будущая работа будет сосредоточена на следующих направлениях:

1. Формальная верификация: Мы планируем разработать формальную верификацию механизмов Codex, включая доказательства хранения и протоколы восстановления.

2. Оптимизация производительности: Мы планируем исследовать способы оптимизации производительности Codex, включая улучшение алгоритмов кодирования стирания и доказательств хранения.

3. Расширение функциональности: Мы планируем расширить функциональность Codex, включая поддержку дополнительных типов данных и приложений.

4. Интеграция с другими системами: Мы планируем исследовать способы интеграции Codex с другими децентрализованными системами, такими как блокчейны и p2p-сети.

6.3 Заключение

Codex представляет собой шаг к созданию децентрализованного, устойчивого и экономически жизнеспособного уровня хранения, критически важного для более широкой децентрализованной экосистемы. Мы надеемся, что наша работа вдохновит дальнейшие исследования и разработки в области децентрализованного хранения данных.

Ссылки