Новости
15 февраля 2021 Время чтения: 8 минут

Лев Корольков

Руководитель облачных сервисов EFSOL Oblako

Бюджетные хранилища на основе Ceph без покупки СХД

Бюджетные хранилища на основе Ceph без покупки СХД

 

Чтобы организовать традиционное хранилище, необходима покупка СХД. С распределённым хранилищем Ceph можно разместить данные на вычислительной части и сократить расходы. Сколько денег поможет сэкономить Ceph, рассчитал руководитель облачных сервисов EFSOL Oblako Лев Корольков. Статья основана на 12-летнем опыте в системной интеграции и автоматизации бизнес-процессов.

Содержание

Как работает распределённое хранилище Ceph

Ceph – хранилище на базе свободного ПО. Оно позволяет объединить дисковые пространства серверов. С Ceph можно организовать масштабируемое хранилище с высокой производительностью и избыточностью. Ceph можно использовать для создания объектного хранилища и в качестве блочного устройства.

В Сeph каждый блок данных реплицируется на несколько серверов. Это обеспечивает отказоустойчивость.

Схема работы Ceph: данные разбиваются на блоки. Каждый блок хранится в двух экземплярах на разных нодах

Фактор репликации в Ceph по умолчанию равен двум. Если вы не используете отказоустойчивые дисковые массивы, рекомендую настроить более высокий фактор репликации.

Если одна из нод выйдет из строя, Сeph зафиксирует недоступность блока данных. Через определенное время (300 секунд по умолчанию) он начнёт восстанавливать недостающие данные.

Восстановление избыточности в Ceph. Одна из нод вышла из строя. Реплики данных, которые на ней хранились, дублируются повторно на другие ноды

Если в кластер устанавливают новый сервер, происходит разбалансировка хранилища: диски на всех нодах равномерно заполняются данными. В Ceph этот механизм называется Crush.

Чтобы получить высокую производительность дискового пространства в Ceph, используйте Cache Tiering — многоуровневое кеширование. Для кэширования используется отдельный высокопроизводительный пул, а основные данные размещаются на недорогих жёстких дисках.

Механизм Cache Tiering в Ceph: для кэширования используются быстрые SSD-диски, а основные данные размещены на HDD

С помощью Ceph можно организовать бюджетное хранилище или частное облако без использования СХД. Мы рассчитали, во сколько обойдутся эти решения.

Хранилище для среднего и малого бизнеса

Организуем отказоустойчивое хранилище объемом 6 Тб.

Хранилище без применения Ceph

Без использования Ceph потребуется закупить СХД в следующей конфигурации:

  • СХД Fujitsu ETERNUS DX100;
  • 12 Nearline SAS 1Tb SFF (RAID10);

Решение будет стоить 19 000 USD.

Стоимость хранилища на 6 Тб с покупкой СХД

КонфигурацияКоличество IOPs (чтение 70%/запись 30%, Размер блока 4К) IOPs рассчитан для созданных массивов из дисков NL SAS на СХД и дисков SATA в Ceph. Кэширование было отключено, так как оно завышает показатели IOPs.Полезный объём, ГбЦена за 1 Гб, USDСтоимость, USD
СХД Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10)7606 0003,219 000

Хранилище с применением Ceph

Можно обойтись без покупки СХД, если использовать Ceph. В качестве хранилища предлагаю решение Supermicro Twin. Это четыре серверных платформы в едином корпусе высотой в два юнита. Основные узлы дублируются для большей отказоустойчивости.
Комплектация каждой ноды:

  • 32 Гб RAM;
  • процессор 6 СPU частотой 1,9 Ггц;
  • 4 диска SATAпо 2 Тб для пула хранения объединяем в два массива RAID1;
  • 2 диска SSD для пула кэширования объединяем в RAID1.

Стоимость хранилища на 6 Тб без покупки СХД с применением Ceph

КомплектующиеКоличествоЦена, USDСтоимость, USD
Серверная платформа Supermicro SYS-2029TP-HTR (Dual Socket P (LGA 3647) support, 16 DIMMs; up to 4TB 3DS ECC DDR4-2933MHz† RDIMM/LRDIMM, 6 Hot-swap 2.5" SATA3 drive bays, Up to 2200W Redundant Power Supplies)151405140
Модуль памяти 16 GB Kingston DDR4-2666 Single Rank x4 CL19 1.2v ECC Registered DIMM6129774
Xeon Bronze 3204 1.9/1.9 GHz, 6C/ 6T, 8.25 MB L3, DDR4-2133/1.0 TB, 9.6 GT/s UPI(2), 85 W3270810
Жесткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6Gb/s 7200rpm 128Mb 512E123153780
Твердотельный накопитель SSD 2.5'' 400GB Server Series.61771062
Итого:11566

Без использования Ceph пришлось бы покупать СХД с дисками. Минимальные затраты составили бы порядка 19 000 USD — на 39% выше.

Хранилище на базе Ceph с использованием б/у серверов

Еще больше снизить расходы можно, если использовать серверы б/у. Серверы Supermicro с конфигурациями 48 ГБ RAM и процессорами линейки 5600 будут стоить около 800 USD.

Диски настоятельно рекомендую купить новые. На каждый сервер можно поставить по одному SSD-диску для кэширования и по три диска SATA.

Стоимость хранилища на 6 Тб без покупки СХД с применением Ceph. Используются серверы б/у

КомплектующиеКоличествоЦена, USDСтоимость, USD
SUPERMICRO 2*Xeon 5645, 48 Гб RAM (б/у)48003200
Жесткий диск SATA 2 Tб, Western Digital RAID EDITION1270840
Твердотельный накопитель SSD 2.5' 400 Гб DC S3710 Series43151260
Итого:5300

Частное облако

Облако без использования Ceph
Для классического частного облака понадобятся два компонента:

  • Compute — серверы, которые используются виртуальными машинами для вычислений.
  • Storage — система хранения данных.

Даже небольшое облако, построенное по этой схеме обойдется недёшево. Например, облако из трех носителей будет стоит около 31 000 USD:

19 000 USD — стоимость СХД

12 000 USD — стоимость вычислительной части. Это три сервера с наполнением в 50%. Цена каждого: 4 000 USD.

Стоимость частного облака без применения Ceph

КонфигурацияКоличество IOPs* (чтение 70%/запись 30%, Размер блока 4К)Полезный объём, ГбЦена 1 Гб, USDСтоимость, USD
Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10) + Supermicro Twin7606005,231 000

Облако на базе Ceph

Для облака на базе Ceph в качестве хранилища можно использовать дисковые ресурсы вычислительной части. Мы используем ту же платформу Supermicro. Она будет задействована и для работы виртуальных машин, и для хранения информации. Поэтому выберем более мощную комплектацию:

  • Процессор 8 CPU с частотой 3,2 Ггц;
  • 96 Гб RAM.

Собранное облако будет работать при выходе из строя одной ноды. На платформе можно развернуть около 10 виртуальных машин с конфигурациями 12 ГБ RAM, 4 vCPU, 400 Гб дискового пространства.

Стоимость частного облака на базе Ceph

КомплектующиеКоличествоЦена, USDСтоимость, USD
Серверная платформа Supermicro SYS-2029TP-HTR (Dual Socket P (LGA 3647) support, 16 DIMMs; up to 4TB 3DS ECC DDR4-2933MHz† RDIMM/LRDIMM, 6 Hot-swap 2.5" SATA3 drive bays, Up to 2200W Redundant Power Supplies)151405140
Модуль памяти 16 Гб Kingston DDR4-2666 Single Rank x4 CL19 1.2v ECC Registered DIMM181292322
Процессор Xeon Silver 4215R 3.2/4.0 GHz, 8C/16T, 11.00 Мб L3, DDR4-2400/1.0 TB, 9.6 GT/s UPI(2), 130 W310063018
Жесткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6 Гб/cек 7200rpm 128 Мб 512E123153780
Твердотельный накопитель SSD 2.5 400 Гб Server Series61771062
Итого:15322

Итоговое сравнение стоимости хранилища с Ceph и без него

Хранилище на 6 ТбЧастное облако на 6 Тб
Хранилище без CephХранилище с CephХранилище с Ceph и с б/у серверамиОблако без CephОблако с Ceph
Стоимость, USD19 00011 5665 30031 00015 322

Создайте отказоустойчивую виртуальную среду с платформой VMmanager и хранилищем Ceph

VMmanager — платформа для создания виртуальной среды на базе QEMU/KVM и контейнеризации LXD/LXC.

VMmanager имеет готовую интеграцию с Ceph — диски виртуальных машин хранятся в отказоустойчивом кластере. В случае аварии данных с них будут автоматически восстановлены.

Закажите демонстрацию VMmanager, чтобы узнать больше о его возможностях.