Что такое raid-массив, и почему он вам нужен

Введение

Когда первый раз сталкиваешься с рукожопством сотрудников техподдержки дата центра, впадаешь в ступор и думаешь, ну как так то? Сейчас я спокойно отношусь к таким ситуациям и действую исходя из самых худших ожиданий. На днях я столкнулся с ситуацией, когда мне заменили не тот диск в сервере с RAID1. Вместо сбойного диска вынули рабочий и заменили чистым. К счастью все закончилось хорошо, но обо всем по порядку.

Не скажу, что у меня прям большой опыт аренды серверов, но он есть. Я регулярно обслуживаю 10-15 серверов, расположенных в разных дата центрах, как российских, так и европейских. Первый негативный опыт я получил именно в Европе и был очень сильно удивлен и озадачен. Я, как и многие, был под влиянием либеральной пропаганды на тему того, что у нас все плохо, а вот Европа образец надежности, стабильности и сервиса. Как же я ошибался. Сейчас отдам предпочтение нашим дата центрам. По моему мнению и опыту, у нас тех поддержка и сервис в целом лучше, чем там, без привязки к стоимости. В Европе дешевле схожие услуги, так как там масштабы сервисов в разы больше.

Приведу несколько примеров косяков саппорта, с которыми сталкивался.

1. При заказе приватной сети у хостера leaseweb.com развалили весь сервис на несколько часов. Был крупный проект у хостера. Рос постепенно, с нуля. Покупался сервер за сервером. Когда серверов стало много, решили, что надо объединяться в единую локалку. У хостера есть такая услуга и называется приватная сеть. Так как сервера сильно разнесены по стойкам, хостер сказал, что надо переносить все поближе друг к другу. Согласовали время для переноса серверов и все остальное. Хостер заранее выдал все сетевые настройки. После того, как хостер все сервера перенес и отчитался в тикете об успешном окончании, началась свистопляска. На части серверов указанные сетевые настройки не приводили к доступности. Часть серверов не видели друг друга. Началась длительная переписка с техподдержкой, где предлагали то включить dhcp, то отключить, и кучу всяких других бесполезных действий. В итоге оказалось, что просто напутали и с сетевыми настройками, и сервера не туда перенесли. Это была жесть. Плюс все общение на английском. С тех пор я больше никогда не заказываю подобных услуг на работающем сервисе. Если надо объединяться, то настраиваю vpn на текущих сетевых подключениях. И вообще обращаюсь к тех поддержке по минимуму. Если нужны глобальные изменения — плавных переход на дублирующую систему.
2. Как-то раз перед новым годом, 31-го декабря в 16 часов отрубился полностью крупный проект. Как оказалось, хостер выполнял какие-то работы в стойке и по ошибке вырубил питание на нашем сервере, который был балансером и точкой входа для всех запросов. В итоге весь сайт и сервис лег для посетителей. Повезло, что где-то часа за 2 они это обнаружили и отписались в тикете, что все ОК. А при первоначальном запросе сказали, что сейчас будем разбираться, но все инженеры уже празднуют, так что ничего не обещаем.
3. Ну и под конец классика. Заменили не тот диск в рейде. Вместо сбойного вынули рабочий. Каким-то чудом рейд не развалился. Все зависло, вернули обратно рабочий диск и перегрузили сервер.

Было много всяких инцидентов помельче, нет смысла описывать. Хотя нет, один все же опишу. Устанавливал свой сервер в ЦОД. Решил пойти в маш зал и проконтролировать монтаж. Если есть такая возможность, крайне рекомендую ей воспользоваться. Местный рукожоп неправильно прикрепил салазки и сервер во время монтажа стал падать. Я его поймал, тем спас его и сервера других клиентов. В итоге помог с монтажом. Сам бы он просто не справился. Я не представляю, что было, если бы я не пошел в машзал. К чести руководства, я написал претензию, где подробно описал данный случай и попросил бесплатно месячную аренду. Мне ее предоставили. Советую всем так поступать. Зачастую, руководство может быть не в курсе того, что происходит в реальности. Надо давать обратную связь.

Уровень моего доверия к тех поддержке дата центров и хостингов вы примерно представляете 🙂 Ну и вот случилось очередное ЧП. Подробнее остановлюсь на этой ситуации, так как она случилась вчера, свежи воспоминания.

Теория: Уровни RAID и принципы восстановления данных

Чаще всего сейчас используются массивы уровней 0, 1, 10, 5, 50. В последнее время наблюдается возрастающий интерес к шестому уровню.

Ниже приведена краткая информация о принципах работы массивов. Более подробно, об этом можно прочитать в соответствующей статье.

RAID 0 – использование чередующейся записи (страйп). Строится из двух и более накопителей. Информация записывается на все диски массива блоками определенного (8кб,16кб,32кб,64 кб, 128кб…) размера. Файлы, размер которых один блок, равномерно распределяются по двум или более дискам.

Из-за отсутствия избыточности или дублирования данных, при выходе из строя одного из дисков, восстановить информацию в полном объеме невозможно без использования данных с неисправного накопителя. Исключением будут лишь файлы, размер которых меньше размера блока. Для полноценного восстановления информации в таких случаях необходимо сначала снять данные с неисправного диска, после чего восстанавливать RAID.

В случаях, когда все диски исправны, а массив отказывается корректно работать, восстановление производится программными методами, которые описаны

RAID 1 – использование технологии зеркалирования (зеркало). Строится из двух дисков. Информация одновременно пишется на оба накопителя, каждый диск является полной копией своего собрата. В случае выхода из строя одного из дисков массив остается работоспособным.

Если происходит сбой в работе контроллера и массив перестает определяться, то восстановление данных можно выполнить, воспользовавшись советами из статьи «Простое восстановление данных». Для этого один из дисков следует подключить к компьютеру на прямую, минуя RAID контроллер. Если повезёт, после подключения Ваши данные могут оказаться доступными и без использования программ, описанных в вышеуказанной статье.

RAID 10 – это объединение уровня 0 с уровнем 1, т.е. два страйпа объединяются в зеркало. В массиве используются минимум 4 диска. Он может остаться работоспособным при выходе из строя одного из составляющих его RAID 0.

При возникновении проблемы, в первую очередь необходимо определить, с чем именно возникли неполадки – с контроллером или с дисками

Когда проблема на уровне контроллера, Вам следует определить, какие винчестеры являются парами, составляющими страйпы

Здесь важно не перепутать диски, т.к. это приведет к потерянному времени и отсутствию результата

После того, как это станет известно, берётся одна такая пара, и с неё снимается информация таким же образом, как и с самостоятельного RAID 0.

Во время эксплуатации RAID 10, случается и такое, что выходят из строя два диска. Здесь возможны следующие варианты:

1) Оба диска принадлежат к одному страйпу, контроллер корректно обрабатывает исключительную ситуацию, и массив продолжает функционировать нормально.

2) Оба диска принадлежат к одному страйпу, но массив разваливается. В этом случае просто берём исправный страйп, и программно собираем его (об этом ниже).

3) Диски принадлежат к разным страйпам, но в одном из них уцелел первый, а в другом второй накопитель. Попробуйте программно собрать из них RAID 0.

4) Вышли из строя одноимённые диски разных страйпов. Увы  Один из сломанных дисков придётся отремонтировать, или каким-либо ещё образом снять с него данные. Затем программная сборка.

RAID 5 – массивы с контролем четности. Основным его достоинством является распределение блоков информации и контрольных блоков четности по всем дискам массива. Для создания такого массива требуется минимум три диска. Объём массива равен сумме объёмов составляющих его накопителей, минус один диск. Блоки контроля чётности используются для вычисления недостающей информации при выходе из строя одного из накопителей, составляющих массив. Таким образом, при утрате одного из дисков данные не теряются, и массив может продолжать работу.

Но, случается и такое, что после выхода из строя одного накопителя, контроллер неверно обрабатывает исключительную ситуацию и массив перестает корректно работать, либо полностью «падает». Подобный сбой может возникнуть также во время выполняемого после замены диска перестроения массива. Иногда в течение короткого времени после смерти первого диска, выходит из строя ещё один.

Если массив не работает, и количество неисправных дисков не более одного, то его можно собрать При выходе из строя двух накопителей, сначала потребуется восстановить работоспособность, или снять информацию на исправный диск с одного из них, и лишь затем можно заняться сборкой массива.

Типы RAID массивов для Windows 7, и (HDD — SSD)

Массив RAID 1 из 2 жестких дисков

Массив RAID 1 — один из самых распространенных и бюджетных вариантов, который использует 2 жестких диска. Это минимальное количество дисков HDD или SSD, которое можно использовать. Массив RAID 1 призван обеспечить максимальную защиту данных пользователя, потому что все файлы будут одновременно копироваться сразу на 2 жестких диска. Для того, чтобы его создать, берем два одинаковых по объему харда, например по 500 Гб и делаем соответствующие настройки в BIOS для создания массива. После этого в вашей системе будет виден один жесткий диск размеров не 1 Тб, а 500 Гб, хотя физически работают два жестких диска — формула расчета приведена чуть ниже. И все файлы одновременно будут писаться на два диска, то есть второй будет полной резервной копией первого. Как вы понимаете, при выходе из строя одного из дисков вы не потеряете ни частички своей информации, так как у вас будет вторая копия этого диска.

Также поломки и не заметит операционная система, которая продолжит работу со вторым диском — о неполадке вас известит лишь специальная программа, которая контролирует функционирование массива. Вам нужно лишь удалить неисправный диск и подключить такой же, только рабочий — система автоматически скопирует на него все данные с оставшегося исправного диска и продолжит работу.

Объем диска, который будет видеть система, рассчитывается здесь по формуле:

V = 1 x Vmin, где V — это общий объем, а Vmin — объем памяти самого маленького жесткого диска.

Что такое массив RAID 0 на Windows 10

Еще одна популярная схема, которая призвана повысить не надежность хранения, а наоборот, скорость работы. Также состоит из двух HDD, однако в этом случае ОС видим уже полный суммарный объем двух дисков, т.е. если объединить в Raid 0 диски по 500 Гб, то система увидит один диск размером 1 Тб. Скорость чтения и записи повышается за счет того, что блоки файлов пишутся поочередно на два диска — но при этом отказоустойчивость данной системы минимальная — при выходе из строя одного из дисков почти все файлы будут повреждены и вы потеряете часть данных — ту, которая была записана на сломавшийся диск. Восстанавливать информацию после этого придется уже в сервисном центре.

Формула расчета общего объема диска, видимого Windows, выглядит так:

V = V1 + V2

Если вы до прочтения данной статьи по большому счету не беспокоились об отказоустойчивости вашей системы, но хотели бы повысить скорость работы, то можете купить дополнительный винчестер и смело использовать этот тип

По большому счету, в домашних условиях подавляющее количество пользователей не хранит какой-то супер-важной информации, а скопировать какие-то важные файлы можно на отдельный внешний жесткий диск

Массив Raid 10 (0+1) из 4 или 6 жестких дисков

Как следует уже из самого названия, этот тип массива объединяет в себе свойства двух предыдущих — это как бы два массива Raid 0, объединенных в Raid 1. Используются четыре жестких диска, на два из них информация записывается блоками поочередно, как это было в Raid 0, а на два других — создаются полные копии двух первых. Система очень надежная и при этом достаточно скоростная, однако весьма дорогая в организации. Для создания нужно 4 HDD или SSD, при этом система будет видеть общий объем по формуле:

V = 2 x Vmin

То есть, если возьмем 4 диска по 500 Гб, то система увидит 1 диск размером 1 Тб.

Данный тип, также как и следующий, чаще всего используется в организациях, на серверных компьютерах, где нужно обеспечить как высокую скорость работы, так и максимальную безопасность от потери информации в случае непредвиденных обстоятельств.

Ваше мнение — WiFi вреден?%%Показать результатыПроголосовало: 7536

Какое количество дисков в массиве RAID 5?

Массив жестких дисков Raid 5 — оптимальное сочетание цены, скорости и надежности. В данном массиве минимально могут быть задействованы 3 HDD/SSD, объем рассчитывается из более сложной формулы:

V = N x Vmin — 1 x Vmin, где N — количество жестких дисков.

Итак, допустим у нас 3 диска по 500 Гб. Объем, видимый ОС, будет равен 1 Тб.

Схема работы массива выглядит следующим образом: на первые два диска (или три, в зависимости от их количества) записываются блоки разделенных файлов, а на третий (или четвертый) — контрольная сумма первых двух (или трех). Таким образом, при отказе одного из дисков, его содержимое легко восстановить за счет имеющейся на последнем диске контрольной суммы. Производительность такого массива ниже, чем у Raid 0, но такая же надежная, как Raid 1 или Raid 10 и при этом дешевле последнего, т.к. можно сэкономить на четвертом харде.

На схеме ниже представлена схема Raid 5 из четырех HDD.

Как создать RAID-массив

Так как же на практике создается рейд из жестких дисков. Есть два способа аппаратный и программный. В случае аппаратной реализации нам потребуется специальный RAID-контролер, который и будет обеспечивать объединение дисков в массив по выбранной схеме, причем он не зависит от операционной системы и для ОС наш массив будет просто одним диском.

Он может быть встроен в некоторые материнские платы, но при этом чаще всего довольно простой и его возможности обычно ограниченны несколькими наиболее распространенными вариантами подключения. Узнать есть ли в материнской плате интегрированный RAID-контролер и какие уровни RAID-массива он поддерживает можно в спецификации материнской платы.

Если встроенный контролер отсутствует или его возможности вас не устраивают, то можно воспользоваться внешним RAID-контролером, который устанавливается в PCI-слот материнской платы. Такой вариант считается самым правильным, но одновременно и самым дорогим, поскольку их стоимость довольно немаленькая.

Впрочем, есть способ «для бедных», позволяющий эмулировать работу RAID-контролера на программном уровне. Другими словами, специальная программа работающая внутри ОС обеспечивает его работу. Однако нужно понимать, что при этом на его работу затрачиваются ресурсы центрального процессорапроцессора и оперативной памяти, что в конечном итоге негативно сказывается на общей производительности компьютера, к тому же сюда нужно прибавить возможные софтовые глюки в ОС, что не добавляет надежности. Поэтому программный вариант рейд-массива рассматривать в серьез не стоит.

Чтобы создать RAID-массив нужно загрузиться в BIOS и выставить в настройках работы дисков режим RAID, сохраняем изменения и выходим из BIOS. В процессе загрузки компьютера появится сообщение с помощью каких клавиш можно попасть в меню настройки RAID-массива (например, Ctrl—F). Здесь следуя подсказкам системы создаем новый массив и делаем нужные настройки. После этого можно работать с созданным RAID-массивом как с обычным диском.

Будьте внимательны, создание, удаление массивов приводит к удалению всей информации имеющейся на дисках. Так же может потребоваться установка специального драйвера для работы контролера.

Подводя итог, можно сделать некоторые выводы об использовании RAID массивов. Они получили широкое распространение в серверах и компьютерных системах организаций. В тоже время для домашних пользователей компьютера выгоды от их использования не столь очевидны. Ведь придется потратиться на несколько одинаковых дисков, часть из которых будет недоступна для хранения данных. Да и спасти информацию в случае сбоя в работе RAID-массива гораздо труднее и дороже, поскольку вероятно придется обращаться к профессионалам, а это дополнительные расходы.

Может потребоваться более мощный блок питания и/или компьютерный корпус большего размера с хорошим охлаждением. Как видите затраты требуются не маленькие. Возможно более эффективно будет потратиться на один быстрый диск, например SSD, а сохранность информации обеспечивать периодическим созданием копий.

Есть еще один момент в технологии RAID, который нужно понимать. Она страхует только от физического выхода из строя накопителей и не защищает информацию от случайного удаления, вирусов, сбоев в работе контролера, bad-блоков и тому подобного.

Что такое RAID massive

Название этой технологии — аббревиатура от Redundant Array of Independent Disks (избыточный массив независимых дисков). Это принцип виртуализации данных, когда несколько устройств под управлением общим контроллером объединяются в один стек для увеличения производительности или безопасности хранения данных.

Появление технологии обусловлено тем, что винчестеры, можно сказать, уперлись в «потолок» возможностей много лет назад. После SATA III пока не изобрели более скоростного интерфейса для подключения жесткого диска, а в плане скорости вращения шпинделя «золотым стандартом» считается 7200 об/мин.

Твердотельные накопители шагнули дальше, но и принцип их работы кардинально отличается. Райд массив же в ряде случаев способен ускорить работу системы, если в этом есть необходимость. Рассмотрим, какие типы дисковых массивов существуют на текущий момент(некоторые из них).

Восстановление данных

Некоторые варианты восстановления данных:

1. В случае сбоя Рейд 0 или 5 может помочь утилита RAID Reconstructor , которая соберет доступную информацию накопителей и перезапишет на другое устройство или носитель в виде образа прошлого массива. Данный вариант поможет, если диски исправны и ошибка программная.
2. Для Linux систем используется mdadm восстановление (утилита для управления программными Рейд-массивами).
3. Аппаратное восстановление должно выполняться через специализированные сервисы, потому что без знания методики работы контроллера можно потерять все данные и вернуть их будет очень сложно или вообще невозможно.

Сравнительная таблица

Сравнительная таблица RAID 10 и RAID 5

RAID 10
RAID 5
Ключевой особенностью
Полоса зеркал: совмещает чередование и зеркалирование для обеспечения отказоустойчивости и производительности.
Чередование с паритетом
Чередование
Да; данные распределяются (или разделяются) равномерно по группам дисков. Каждая группа имеет 2 диска, которые настроены как зеркальные отображения друг друга. Таким образом, RAID 10 сочетает в себе функции RAID 0 и RAID 1.
Да; данные чередуются (или разделяются) равномерно на всех дисках в настройке RAID 5. Помимо данных, информация о четности также сохраняется (один раз), поэтому данные могут быть восстановлены в случае отказа одного из дисков.
Зеркальное отображение, резервирование и отказоустойчивость
Да. Зеркальное отображение данных делает систему RAID 10 отказоустойчивой. В случае отказа одного из дисков данные можно быстро восстановить, просто скопировав их с других дисков.
Нет зеркалирования или избыточности; Отказоустойчивость достигается путем расчета и хранения информации о четности. Может терпеть сбой 1 физического диска.
Представление
Читает быстро из-за чередования. Запись также выполняется быстро, потому что хотя каждый блок данных необходимо записать дважды (зеркальное отображение), запись происходит на 2 разных носителях, поэтому они могут выполняться параллельно. Информация о четности не должна рассчитываться.
Быстрое чтение из-за чередования (данные распределены по многим физическим дискам). Пишет немного медленнее, потому что информация о четности должна быть рассчитана

Но так как четность распределена, 1 диск не становится узким местом (как в RAID 4).
Приложения
Когда производительность важна для чтения и записи, и когда важно быстро восстанавливаться после сбоя.
Хороший баланс эффективного хранения, достойной производительности, устойчивости к сбоям и хорошей безопасности. RAID 5 идеально подходит для файловых серверов и серверов приложений с ограниченным количеством дисков с данными.
Требуется минимальное количество физических дисков
4
3
Диск четности?
Нет; четность / контрольная сумма не рассчитываются в настройке RAID 10.
Информация о четности распределяется между всеми физическими дисками в RAID

В случае сбоя одного из дисков информация о четности используется для восстановления данных, которые были сохранены на этом диске.
преимущества
Быстрое восстановление данных в случае сбоя диска.
Быстрое чтение; недорогое резервирование и отказоустойчивость; к данным можно получить доступ (хотя и с меньшей скоростью), даже если неисправный диск находится в процессе восстановления.
Недостатки
Использование диска составляет всего 50%, поэтому RAID 10 является дорогим способом получения избыточности хранилища по сравнению с хранением информации о четности.
Восстановление после сбоя происходит медленно из-за вычислений четности, связанных с восстановлением данных и восстановлением заменяющего диска. Во время этого можно читать с RAID, но операции чтения в это время будут довольно медленными.

Разновидности RAID

Скоростной Рейд 0

Рейд 0 не имеет ничего схожего с надежностью, ведь он только повышает скорость. Вам необходимо как минимум 2 винчестера и в этом случае данные будут как бы «разрезаться» и записываться на оба диска одновременно. То есть вам будет доступен полностью объем этих дисков и теоретически это значит, что вы получаете в 2 раза более высокую скорость чтения/записи.

Но, давайте представим, что один из этих дисков сломался — в этом случае неизбежна потеря ВСЕХ ваших данных. Иначе говоря, вам все равно придется регулярно делать бекапы, чтобы иметь возможность потом восстановить информацию. Здесь обычно используется от 2 до 4 дисков.

Рейд 1 или «зеркало»

Тут надежность не снижается. Вы получаете дисковое пространство и производительность только одного винчестера, зато имеете удвоенную надежность. Один диск ломается — информация сохранится на другом.

Массив уровня RAID 1 не влияет на скорость, однако объем — тут в вашем распоряжении лишь половина от общего пространства дисков, которых, к слову, в рейд 1 может быть 2, 4 и т.д., то есть — четное количество. В общем, главной «фишкой» рейда первого уровня является надежность.

Рейд 10

Совмещает в себе все самое хорошее из предыдущих видов. Предлагаю разобрать — как это работает на примере четырех HDD. Итак, информация пишется параллельно на два диска, а еще на два других диска эти данные дублируются.

Как результат — увеличение скорости доступа в 2 раза, но и объем только лишь двух из четырех дисков массива. Но вот если любые два диска сломаются — потери данных не произойдет.

Рейд 5

Этот вид массива очень схож с RAID 1 по своему назначению, только теперь уже надо минимум 3 диска, один из них будет хранить информацию, необходимую для восстановления. К примеру, если в таком массиве находится 6 HDD, то для записи информации будут использованы всего 5 из них.

Из-за того, что данные пишутся сразу на несколько винчестеров  — скорость чтения получается высокая, что отлично подойдет для того, чтобы хранить там большой объем данных. Но, без дорогущего рейд-контроллера скорость будет не сильно высокой. Не дай БОГ один из дисков поломается — восстановление информации займет кучу времени.

Рейд 6

Этот массив может пережить поломку сразу двух винчестеров. А это значит, что для создания такого массива вам потребуется как минимум четыре диска, при всем при том, что скорость записи будет даже ниже, нежели у RAID 5.

Учтите, что без производительного рейд-контроллера такой массив (6) собрать вряд ли удастся. Если у вас в распоряжении всего 4 винчестера, лучше собрать RAID 1.

Заключение

Надеюсь, моя статья была интересной. Для тех, кто никогда не работал с ЦОДами будет полезно узнать, чего можно от них ожидать. Я скучаю по временам, когда все сервера, которые я администрировал, были в серверной, куда никому не было доступа и куда я мог в любой момент попасть и проверить их. Сейчас все стало не так. И твои сервера уже не твои. Их может сломать, уронить, что-то перепутать сотрудник тех поддержки дата центра.

Сейчас большой тренд на переход в облака. Я смотрю на эти облака и не понимаю, как с ними можно нормально взаимодействовать. Заявленная производительность не гарантированная, нагрузка плавает в течении суток. Упасть может в любой момент и ты не будешь понимать вообще в чем проблема. Твои виртуалки могут быть по ошибке удалены и кроме извинений и компенсации в 3 копейки ты ничего не получить. Каждое обращение в ТП как лотерея. Думаешь, что сломают в этот раз. Если сервера железные, то когда пишу тикет на доступ к железу, я морально и технически всегда готов к тому, что этот сервер сейчас отключится и я больше не смогу к нему подключиться.

В целом, опыт работы с облаками у меня негативный. Несколько раз пробовал для сайтов и все время съезжал. Нет гарантированного времени отклика. А это сейчас фактор ранжирования. Для очень быстрого сайта остается только один вариант — свое железо, а дальше уже кому какое по карману. Зависит от надежности и допустимого времени простоя.

Я про облака заговорил, потому что тенденции к тому, что от железных серверов надо отказываться и все переносить в облака. С одной стороны удобно должно быть. Как минимум, не будет указанных выше в статье проблем. А с другой стороны добавляется куча других проблем. Я пока сижу на железяках разного качества и стоимости. А у вас как?

Онлайн курс «DevOps практики и инструменты»

Если у вас есть желание научиться строить и поддерживать высокодоступные и надежные системы, научиться непрерывной поставке ПО, мониторингу и логированию web приложений, рекомендую познакомиться с онлайн-курсом «DevOps практики и инструменты» в OTUS. Курс не для новичков, для поступления нужны базовые знания по сетям и установке Linux на виртуалку. Обучение длится 5 месяцев, после чего успешные выпускники курса смогут пройти собеседования у партнеров.

Проверьте себя на вступительном тесте и смотрите программу детальнее по .

Заключение

В заключении ещё раз отметим – если данные очень важны, отложите эксперименты на другое время, и обратитесь к специалистам. Советуем это, зная печальный опыт многих людей.

Версия от 27.03.2009.Валерий Пьянков, R.LAВ, восстановление RAID массивов.

Основное условие распространения – сохранение ссылок, содержащихся в тексте данной статьи и подписи.

|