Долгосрочное хранение огромных объемов данных — одна из крайне актуальных технологий. Человечество генерирует все больше информации, и часть этих данных особенно важна. Бумага со временем превращается в труху, магнитные накопители деградируют, лазерные диски страдают от «гниения» и «бронзования» несущего слоя.
Какие технологии помогут человечеству хранить важные данные в течение сотен и тысяч лет? Оказывается, их не так уж и мало, и большая часть — вовсе не фантастика, а проекты, которые либо уже можно использовать, либо будут реализованы в ближайшем будущем.
Сервис долгосрочного хранения данных на фотопленке
Норвежская компания Piql и индийский оператор дата-центров Yotta разработали и запустили сервис долгосрочного хранения информации на фотопленке. Новая система получила название Yotta Preserve, она предназначена в первую очередь для компаний и организаций, которым нужны объемные архивы с информацией разного типа — от текста до изображений.
Данные записываются на производимую Piql крайне светочувствительную полиэфирную фотопленку piqlFilm. Ее достоинство — в долговечности: пленка не деградирует несколько сотен лет. Гарантированный срок хранения данных — 500 лет, но производитель заявляет, что данные останутся доступными для считывания вплоть до 1000 лет.
По словам авторов проекта, у него два преимущества:
- информация записывается на физическом носителе;
- хранение реализовано в цифровом виде, хотя при необходимости возможна и запись аналоговой информации.
Хранить можно любой тип контента, включая видео, аудио, рукописные документы, изображения и т.п. Формат пленки — привычные фотографам 35 мм. Вместе с архивами хранятся иллюстрации и инструкции по расшифровке данных — на случай, если доступ к ним нужно будет получить через несколько поколений.
Кстати, Piql известна еще тем, что компания оцифровала и записала на пленке данные GitHub объемом в 21 Тбайт. Хранится архив в специально оборудованной шахте на острове Шпицберген — пресловутое «Хранилище судного дня».
Кварцевые носители — технология от команды Университета Саутгемптона
Впервые о создании рабочей технологии записи данных на кварцевый носитель стало известно в 2013 году. В так называемых «кристаллах памяти» из кварца информация записывается с пятью разными характеристиками, включая координаты в трех измерениях, ориентацию и объем. Два последних параметра создатели технологии научились контролировать при помощи поляризации и интенсивности лазерного луча.
В 2013 году на кварцевый диск был записан текстовый файл объемом 300 килобайт. Тогда данные записали при помощи фемтосекундного лазера с длиной волны 1030 нм, импульсами по 8 микроджоулей продолжительностью 280 фемтосекунд с частотой 200 кГц. Лазер применялся для выжигания в кристалле точек, расположенных слоями. Расстояние между ними составляло 5 мкм.
Выжженные точки меняют поляризацию проходящего через кварц света. При помощи специализированной системы, которая включает оптический микроскоп и поляризатор, информацию можно считать. Проект постепенно развивается, хотя и не особенно быстро. С момента создания технологии на кварцевые диски записали такие документы и книги, как Всеобщая декларация прав человека, Ньютоновская оптика, Великая хартия вольностей, Библия.
По словам разработчиков, технология идеально подходит для организаций, которым нужно хранить большие объемы данных в неизменном виде продолжительное время. Это, главным образом, музеи, библиотеки, промышленные предприятия. «Удивительно даже думать о том, что мы создали технологию, позволяющую сохранять документы и другую информацию для будущих поколений. Эта технология может сохранить все, что мы изучили», — говорит профессор Питер Казански (Peter Kazansky), глава проекта.
Срок хранения информации на таком диске, в принципе, неограничен. Главное, чтобы диск не царапался и не повреждался иными способами.
Кварцевое стекло — технология от Microsoft и Warner Bros.
Схожую технологию два года назад представили две известные компании — Microsoft и Warner Bros. Объединенная команда специалистов создала метод записи видео на кварцевое стекло размером 75x75 мм и толщиной 2 мм. Конечно, этот способ предназначен не для распространения по домашним медиатекам, а для долгосрочного хранения записанных данных в течение миллионов лет. Конечно, через миллион лет может просто не оказаться существ, которые в состоянии считать эту информацию, но теоретически срок хранения ничем не ограничен.
Это уже рабочая технология, с ее помощью партнеры записали оригинальную картину «Супермен» 1978 года. Объем записанной информации — 75,6 ГБ.
Технология, разработанная Microsoft, базируется на более современных, чем в предыдущем случае, наработках. Компания использует сверхбыструю лазерную оптику и машинное обучение для записи и хранения на кварцевом стекле. Лазер создает объемные слои деформаций кварца на разной глубине и под разными углами. Машинное обучение помогает корректно считать записанные данные, декодируя их.
Warner Bros., как, вероятно, и другие компании, занимающиеся производством фильмов, нуждается в надежных методах хранения медиаконтента. Сейчас фильмы хранятся в трех копиях, которые распределены географически. Две копии цифровые и одна — на пленке. Кинопленка — весьма ненадежный хранитель информации, а кварцевое стекло, теоретически, позволяет хранить данные в течение сотен миллионов лет.
Нити ДНК
Системы хранения данных, основанные на ДНК, могут стать выходом для человечества, которое генерирует все большие объемы информации. По сравнению со всеми прочими носителями у ДНК просто феноменальная плотность записи данных. Еще одно преимущество — в случае ДНК для хранения данных в оптимальных условиях не нужна энергия, причем информацию можно хранить сотни лет. Через несколько веков данные можно без проблем считать — конечно, при наличии соответствующих технологий.
Основа недавно разработанной технологии — капсулы из диоксида кремния, в которых хранятся отдельные файлы. К каждой капсуле прикрепляются ДНК-метки, которые показывают, что в файле. Размер такой капсулы составляет около 6 микрометров. Благодаря такой системе ученым удалось научиться извлекать отдельные изображения с точностью 100%. Набор файлов, который они создали, не очень велик — их всего 20. Но если учитывать возможности ДНК, то масштабировать такую систему можно до секстиллиона файлов.
Закодированы эти 20 файлов были во фрагменты ДНК длиной около 3000 нуклеотидов, это около 100 байт данных. В одну капсулу из кремнезема можно поместить файл размером до гигабайта. После того, как файл помещен в оболочку, на его поверхность помещаются метки из одноцепочечной ДНК. К одной оболочке можно прикрепить несколько меток, которые служат ключевыми словами. Например, «рыжий», «кот», «животное». Помеченные таким образом капсулы из кремнезема объединяются в единую библиотеку данных. Она не так компактна, как хранилище из чистой ДНК, но зато данные в этом случае не повреждаются.
Для поиска файлов используется группа ключевых слов — меток. Например, если нужно найти изображение кошки, используются метки «оранжевый», «кошка» и «домашний». Для поиска тигра только «оранжевый» и «кошка». Скорость поиска в такой системе пока что очень невелика — что-то около 1 КБ в секунду.
Еще одна хитрость связана с тем, что каждая метка связана с флуоресцентными молекулами разного цвета. Поэтому в ходе запроса любые капсулы с нужными метками будут светиться определенным цветом. Сейчас уже есть устройства, которые используют лазеры для разделения объектов по цвету флуоресценции, так что выделить нужные данные технически возможно.
При этом остальная часть библиотеки затрагиваться не будет, а значит, не пострадают данные. Стог сена ради поиска одной иголки сжигать уже не требуется. Дополнительный плюс в возможности логического поиска с разными критериями. Например, условия запроса могут быть сложными: true для «кот», false для «домашний», true для «черный» и т.п.
Бактериальные нанопоры
Это еще более сложная, чем в предыдущем случае, технология, основа которой — тоже ДНК. Ученые из EPFL предложили использовать для хранения носителя, т.е. нитей ДНК, нанопоры. Их создают бактерии EPFL в живых клетках при помощи токсина аэрозилина. По мнению ученых, нанопоры могут использоваться для записи и декодирования информации в цифровом виде.
Считывание производится при помощи полимеров — чтобы процесс проходил достаточно быстро, скорость их прохождения через нанопору оптимизирована. При этом сигнал прохождения полимера должен быть идентифицирован в 100% случаев, чтобы избежать ошибок в исходных данных.
Здесь также используется машинное обучение — оно помогает декодировать информацию из полимеров, правда, пока что в очень небольшом объеме. Такая система, по словам создателей метода, гораздо дешевле, чем использование нитей ДНК в чистом виде или в тех же стеклянных капсулах, о которых говорилось выше.
Насколько можно понять, сейчас технология еще слишком сложная, чтобы ее можно было использовать для решения практических задач. Но в качестве задела на будущее это отличный вариант. «Наш метод открывает новые горизонты для хранения данных на основе полимеров с важными преимуществами в виде сверхвысокой плотности, длительного хранения и портативности устройств», — заявили ученые.
Молекулярные накопители
Еще одно исследование, на этот раз ученых из Университета Брауна (Brown University, США), открыло новые возможности для хранения огромных массивов данных на крайне небольшой площади накопителя. Здесь в качестве носителя используется уже не ДНК, а низкомолекулярные метаболиты. Запись информации производится путем взаимодействия молекул метаболитов между собой. В результате этого взаимодействия образуются новые электрически нейтральные частицы, которые и являются элементами записываемой информации.
Это еще более далекий от практической реализации метод, чем нанопоры, поскольку считывание информации здесь возможно лишь в случае проведения химического анализа в специализированной лаборатории. Но в качестве задела на будущее метод вполне пригоден.
