Компания XTX Markets открыла исходный код файловой системы TernFS, спроектированной для создания распределённого хранилища, охватывающего несколько территориально разделённых датацентров и способного хранить до десятков эксабайт данных, триллионов файлов и сотен миллиардов каталогов, с которыми могут одновременно взаимодействовать миллионы клиентов. Код проекта написан на языках С++ и Go и распространяется под лицензией GPLv2. Спецификации протокола и клиентские библиотеки поставляются под лицензией Apache 2.0. ФС оптимизирована для нагрузок, свойственных системам машинного обучения - запись и чтение файлов, не изменяемых после создания и содержащих больше нескольких мегабайт данных. ФС не рассчитана на частое создание новых каталогов и частое перемещение файлов между каталогами. Присутствуют возможности как для восстановления удалённых по ошибке файлов или каталогов, так и для настройки политик полного безвозвратного удаления. Содержимое ФС может реплицироваться между несколькими датацентрами в разных регионах. Узлы хранения могут включать различные типы накопителей (на основе дисков и flash-памяти). Одним из требований при проектировании было отсутствие единой точки отказа и обеспечение высокой надёжности хранения - аварийные отключения питания не должны приводить к повреждению ФС, а файлы не могут оказаться записанными частично (для чтения доступны только полностью записанные файлы). Система устойчива к выходу из строя отдельных накопителей, узлов с метаданными и узлов хранения. Возможно выполнение обслуживания хранилища без остановки работы. Внедрение хранилища на базе TernFS в компании XTX Markets началось летом 2023 года, после полутора лет разработки ФС. В середине 2024 года все системы машинного обучения XTX Markets были переведены на TernFS. В настоящее время хранилище образует более 30 тысяч дисков и 10 тысяч Flash-накопителей, размещённых в трех датацентрах. Общий объём хранимых данных оценивается в 500 петабайт, а пиковая производительность - несколько петабайт в секунду. Хранилище используется в кластере, насчитывающем более 100 тысяч вычислительных узлов. Инцидентов, приводящих к потере данных, за два года эксплуатации не случалось. Среди ограничений TernFS: записанные файлы не могут быть изменены; низкая эффективность работы с файлами размером меньше 2 МБ; низкая производительность операции создания и удаления каталогов; отсутствие разделения прав доступа. Компоненты, образующие кластер хранения TernFS:
Источник: https://www.opennet.ru/opennews/art.shtml?num=63927
- Узлы хранения метаданных, отвечающие за управление информацией о структуре каталогов и атрибутах файлов. Узлы координации работы (CDC - Cross-Directory Coordinator), выполняющие транзакции, охватывающие разные каталоги. Сервисы хранения, обеспечивающие хранение содержимого файлов. Реестр, содержащий информацию о всех остальные сервисах и выполняющий мониторинг за их работой. Клиентские службы для обращения пользователей к ФС: ternweb - доступ к хранилищу через Web API. terncli - интерфейс командной строки. ternfs.ko - модуль для ядра Linux, позволяющий монтировать хранилище для работы как с локальной ФС. ternfuse - реализация клиента для работы с ФС, использующая подсистему FUSE. terns3 - реализация API Amazon S3.
- GC - сборщик мусора, освобождающий просроченные снапшоты (удалённые, но не очищенные файлы) и очищающий блоки для необратимо удаляемых файлов. scrubber - выявление деградации данных и восстановление. migrator - исключение из хранилища сбойных дисков.
Источник: https://www.opennet.ru/opennews/art.shtml?num=63927