FreeNAS корректная замена дисков в пулах

[Призрак]

Здравствуйте, уважаемые!

Для организации хранилищ я выбрал операционную систему FreeNAS, я думаю, она подходит лучше всего под мои задачи. Про nas4free ничего почти говорить не буду, кроме того, что он некорректно размечает диски, плюс не даёт их форматировать корректно, после того, как их добавляли в пул zfs.

В административном корпусе работают два таких хранилища, под резервные копии. Недавно я настроил два сервера, с Hyper-V 2012 R2, естественно, не без помощи специалистов с этого форума. Теперь наступил черёд корректно настроить резервное копирование. Мощности машин, которые освободились, я думаю, хватит. Гораздо всё сложнее с дисками.

Я решил, как обычно, организовать или два пула на raid1 или один пул на raid10. Тут уж как решу, Два пула на raid1 можно удобно использовать, например, один под iSCSI, для резервного копирования, другой просто под файловую помойку. Один пул на RAID10, если не нужна будет помойка, то использовать только под iSCSI.

Например, четыре диска по 500 гигабайт можно организовать в два зеркальных пула, или в один пул raid10. Поправьте меня, если что напутал.

Собственно, вопрос вот в чём. Я баловался на виртуальной машине добавлением диска большего объёма, с помощью замены диска. Возможно ли это в реальности? Конечно, копия обязательно будет сделана, но не хочется собирать заново массивы, это хлопотное дело. Вот, как указано выше, к примеру, у меня четыре диска по 500 гигабайт. Иди в raid1 или в raid10, как решу. Вот пришли диски по 2 терабайта. Как их корректно, безболезненно заменить на новые? Я понимаю, что надо отсоединять диски, выключать хранилища, заменять диски, включать хранилища, делать замену в пуле. Диски менять строго по одному! При замене во freenas есть непонятная галочка, это force. Я так думаю, что это замена без проверки самого диска? Перезапишется ли туда информация, с зеркала? Как я это увижу?

Скажу сразу, что я не использую raidz! Всё потому - что однажды собрав массив с этими дисками невозможно его как либо изменить, только собирать заново, а это очень не хочется.

[Уваров А.С.]

. Как их корректно, безболезненно заменить на новые? Я понимаю, что надо отсоединять диски, выключать хранилища, заменять диски, включать хранилища, делать замену в пуле. Диски менять строго по одному!

Именно так, меняем по одному диски, потом расширяем размер раздела и расширяем размер ФС, как это сделать корректно на FreeNAS нужно смотреть в документации.

Скажу сразу, что я не использую raidz! Всё потому - что однажды собрав массив с этими дисками невозможно его как либо изменить, только собирать заново

Это не так, ZFS позволяет строить очень гибкие конфигурации, но и уровень вхождения там выше, чем просто потыкать мышкой в веб-интерфейсе. Надо вдумчиво читать документацию.

[ival]

Два пула на raid1 можно удобно использовать, например, один под iSCSI, для резервного копирования, другой просто под файловую помойку. Один пул на RAID10, если не нужна будет помойка, то использовать только под iSCSI.

Про френас я не подскажу, но какая разница сколько пулов дисков? На одном можно создать и десяток лунов и 10 разделов. Или линукс как-то по-другому работает?

[Уваров А.С.]

В Linux программный RAID строится на основе разделов, один массив - один раздел. В пуле можно нарезать нужное число разделов и сделать нужное число массивов.

[Призрак]

Про френас я не подскажу, но какая разница сколько пулов дисков? На одном можно создать и десяток лунов и 10 разделов. Или линукс как-то по-другому работает?

Это не линукс, FreeNAS построен на FreeBSD. Ну я, например, люблю аккуратность, чтобы всё по полочкам. Я считаю, что незачем делать бардак, самому же придётся потом Авгиевы конюшни разгребать, а это не есть хорошо. Сразу нарезать пулы и луны, какие надо, а не бегать и исправлять потом.

[ival]

В Linux программный RAID строится на основе разделов, один массив - один раздел. В пуле можно нарезать нужное число разделов и сделать нужное число массивов.

Не совсем понял. Например на дисковых полках со блочно-файловым предоставлением доступом:

Диски объединяются в RAID-массив образуя виртуальный пул
На виртуальном пуле уже создаются разделы и не важно сколько их и с каким видом доступа с файловым или блочным.

[Уваров А.С.]

Ну это полки, а в FreeNAS и прочем программные массивы, там сначала диски надо нарезать на разделы, а потом на базе этих разделов формируются массивы.

Т.е. диски будут содержать N-e количество разделов с типом Linux-RAID, которые программным образом объединяются в массивы на уровне ядра Linux. Тоже достаточно удобная схема и достаточно гибкая.

[ival]

Ну это полки, а в FreeNAS и прочем программные массивы, там сначала диски надо нарезать на разделы, а потом на базе этих разделов формируются массивы.

Т.е. диски будут содержать N-e количество разделов с типом Linux-RAID, которые программным образом объединяются в массивы на уровне ядра Linux. Тоже достаточно удобная схема и достаточно гибкая.

Т.е. Автоматического ребилда не будет, т.к. новый диск не разбит на разделы я правильно понимаю? А как hot spare реализован? я правильно понимаю, что на одном диске можно создать 2 раздела которые будут участвовать в разных raid группах?

[Уваров А.С.]

Т.е. Автоматического ребилда не будет, т.к. новый диск не разбит на разделы я правильно понимаю?

Не будет. Нужно скопировать разметку с рабочего диска. Из плюсов - ребилд делается онлайн, без прерывания работы системы.

А как hot spare реализован?

Выделением и предварительной разметкой диска.

я правильно понимаю, что на одном диске можно создать 2 раздела которые будут участвовать в разных raid группах?

Да, аналогичное решение есть у Intel в Rapid Storage.

[ival]

Из плюсов - ребилд делается онлайн, без прерывания работы системы.

Ну весьма сомнительный плюс, сейчас любой даже самый дешёвый контроллер ребилдит на живую. Максимум рестарт сервера понадобиться чтобы он диск подхватил.
 

Да, аналогичное решение есть у Intel в Rapid Storage

Ну вообще эта технология в более понятной для меня интерпритации у Dell называется Dynamic Pool. Просто в линукс как-то непонятно реализовано, по крайней мере из того что Вы описали.

[Уваров А.С.]

Просто в линукс как-то непонятно реализовано, по крайней мере из того что Вы описали.

Там все достаточно просто: https://interface31.ru/tech_it/2011/05/ubuntu-server-nastraivaem-programmnyj-raid.html

[Призрак]

А зачем обсуждать Linux? FreeNAS основан на FreeBSD, там файловая система ZFS, это не просто массив mdadm, тут другое.

Т.е. Автоматического ребилда не будет, т.к. новый диск не разбит на разделы я правильно понимаю? А как hot spare реализован? я правильно понимаю, что на одном диске можно создать 2 раздела которые будут участвовать в разных raid группах?

Насчёт hot spare не знаю, но spare во FreeNAS сделать можно. Также можно реализовать RAID 10, у меня реализовано в одном из хранилищ резервных копий так, как во вложении. В хранилище четыре диска, не считая системного, по 500 гигабайт каждый. Мне пришлось выкрутиться так - так как объём машин небольшой, в перспективе всё же есть надежда, что диски закупят, я сделал два зеркала и объединил их. Получился почти терабайт места на диске, почему почти, потому - что ZFS забирает ещё, под свои нужды. Активности пока нет, потому - что резервное копирование делается вечером.

[Призрак]

Вот пример, как делал я, во вложении.

[Уваров А.С.]

FreeNAS основан на FreeBSD, там файловая система ZFS, это не просто массив mdadm, тут другое.

Скажу сразу, что я не использую raidz!

ZFS - это как раз RAIDZ, а RAID 0, 1, 5, 10 и т.д. - это mdadm, ничего другого в Linux/BSD пока не придумали.

[Призрак]

ZFS - это как раз RAIDZ, а RAID 0, 1, 5, 10 и т.д. - это mdadm, ничего другого в Linux/BSD пока не придумали.

А zvol? Почитайте, zvol относится к zfs. Не что иное, как дисковый экстент в iSCSI. А raidz я не люблю за то, что при серьёзных изменениях, например, добавлении диска, приходится массив раздербанивать и создавать по новой.

[Уваров А.С.]

Не буду спорить, я давно не работал с FreeNAS, поэтому точно не скажу, что там и как. Но, внедряя данный продукт, надо помнить, что под капотом там FreeBSD, а это далеко не Linux, при всем внешнем сходстве, и поэтому надо быть готовым читать документацию и разбираться в новой для себя системе.

В качестве альтернативы я бы рассмотрел OpenMediaVault, аналогичная по функционалу система, но на базе Debian.