Периферийные устройства -> Накопители -> Ответы на вопросы по практической реализации RAID

Ответы на вопросы по практической реализации RAID

Когда нужен RAID?

Если Вы заинтересовались этой статьей, то Вы, по-видимому, столкнулись или предполагаете вскоре столкнуться с одной из ниже перечисленных проблем на Вашем компьютере:

• явно не хватает физического объема винчестера, как единого логического диска. Наиболее часто эта проблема возникает при работе с файлами большого объема (видео, графика, базы данных);
• явно не хватает производительности винчестера. Наиболее часто эта проблема возникает при работе с системами нелинейного видео монтажа или при одновременном обращении к файлам на винчестере большого количества пользователей;
• явно не хватает надежности винчестера. Наиболее часто эта проблема возникает при необходимости работать с данными, которые ни в коем случае нельзя потерять или которые должны быть всегда доступны для пользователя. Печальный опыт показывает, что даже самая надежная техника иногда ломается и, как правило, в самый не подходящий момент.

Решить эти и некоторые другие проблемы может создание на Вашем компьютере RAID системы.

Что такое <RAID>?

В 1987 году Паттерсон (Patterson), Гибсон (Gibson) и Катц (Katz) из калифорнийского университета Беркли опубликовали статью <Корпус для избыточных массивов из дешевых дисководов (RAID)> (A Case for Redundant Arrays of Inexpensive Disks (RAID)). В этой статье описывались разные типы дисковых массивов, обозначаемых сокращением RAID - Redundant Array of Independent (или Inexpensive) Disks (избыточный массив независимых (или недорогих) дисководов). В основу RAID положена следующая идея: объединяя в массив несколько небольших и/или дешевых дисководов, можно получить систему, превосходящую по объему, скорости работы и надежности самые дорогие дисководы. Вдобавок ко всему такая система с точки зрения компьютера выглядит как один единственный дисковод.

Известно, что среднее время наработки на отказ массива дисководов равно среднему времени наработки на отказ одиночного дисковода, деленному на число дисководов в массиве. Вследствие этого среднее время наработки на отказ массива оказывается слишком малым для многих приложений. Однако дисковый массив можно несколькими способами сделать устойчивым к отказу одного дисковода.

В данной статье было определено пять типов (уровней) дисковых массивов: RAID-1, RAID-2, RAID-3, RAID-4, RAID-5. Каждый тип обеспечивал устойчивость на отказ, а также различные преимущества по сравнению с одиночным дисководом. Наряду с этими пятью типами популярность приобрел также дисковый массив RAID-0, НЕ обладающий избыточностью.

Какие существуют уровни RAID и какой из них выбрать?

Дисковод 0	Дисковод 1	Дисковод 2
Блок 0 Блок 3 .... Блок N	Блок 1 Блок 4 .... Блок N+1	Блок 2 Блок 5 .... Блок N+2

Так как RAID-0 не обладает избыточностью, авария одного дисковода приводит к аварии всего массива. С другой стороны RAID-0 обеспечивает максимальную скорость обмена и эффективность использования объема дисководов. Поскольку для RAID-0 не требуются сложные математические или логические вычисления, затраты на его реализацию минимальны.

Область применения: аудио- и видео приложения требующие высокую скорость непрерывной передачи данных, которую не может обеспечить одиночный дисковод. Например, исследования, проведенные фирмой Mylex, с целью определить оптимальную конфигурацию дисковой системы для станции нелинейного видео монтажа показывают, что, по сравнению с одним дисководом, массив RAID-0 из двух дисководов дает прирост скорости записи/чтения на 96%, из трех дисководов - на 143% (по данным теста Miro VIDEO EXPERT Benchmark).

Минимальное количество дисководов в массиве - 2.

RAID-1. Более известен как "Mirroring" ("дисковое зеркало") или пара дисководов, содержащих одинаковую информацию и составляющих один логический диск:

Дисковод 0	Дисковод 1
Блок 0 Блок 1 .... Блок N	Блок 0 Блок 1 .... Блок N

Запись производиться на оба дисковода в каждой паре. Тем не менее, дисководы, входящие в пару, могут совершать одновременные операции чтения. Таким образом <зеркалирование> может удваивать скорость чтения, но скорость записи остается неизменной. RAID-1 обладает 100% избыточностью и авария одного дисковода не приводит к аварии всего массива - контроллер просто переключает операции чтения/записи на оставшийся дисковод.

RAID-1 обеспечивает наивысшую скорость работы среди всех типов избыточных массивов, особенно в многопользовательском окружении, но наихудшее использование дискового пространства. Поскольку для RAID-1 не требуются сложные математические или логические вычисления, затраты на его реализацию минимальны.

Минимальное количество дисководов в массиве - 2.

Для увеличения скорости записи и обеспечения надежности хранения данных несколько массивов RAID-1 можно, в свою очередь, объединить в RAID-0. Такая конфигурация называется <двухуровневый> RAID или RAID-10 (RAID 0+1)

Дисковод 0	Дисковод 1	Дисковод 2	Дисковод 3
Блок 0 Блок 2 .... Блок N	Блок 0 Блок 2 .... Блок N	Блок 1 Блок 3 .... Блок N+1	Блок 1 Блок 3 .... Блок N+1

Минимальное количество дисководов в массиве -4.

Область применения: дешевые массивы, в которых главное - надежность хранения данных.

RAID-2. Распределяет данные по страйпам размером в сектор по группе дисководов. Некоторые дисководы выделяются для хранения ECC (код коррекции ошибок). Так как большинство дисководов по умолчанию хранят коды с ECC для каждого сектора, RAID-2 не дает особых преимуществ по сравнению с RAID-3 и, поэтому, практически не применяется.

RAID-3. Как и в случае с RAID-2 данные распределяются по страйпам размером в один сектор, а один из дисководов массива отводится для хранения информации о четности:

Дисковод 0	Дисковод 1	Дисковод 2
Блок 0 Блок 2 .... Блок N	Блок 1 Блок 3 .... Блок N+1	Контрольная сумма блока 0 и 1 Контрольная сумма блока 2 и 3 .... Контрольная сумма блока N и N+1

RAID-3 полагается на коды с ECC, хранящиеся в каждом секторе для обнаружения ошибок. В случае отказа одного из дисководов восстановление хранившейся на нем информации возможно с помощью вычисления исключающего ИЛИ (XOR) по информации на оставшихся дисководах. Каждая запись обычно распределена по всем дисководам и поэтому этот тип массива хорош для работы в приложениях с интенсивным обменом с дисковой подсистемой. Так как каждая операция ввода-вывода обращается ко всем дисководам массива, RAID-3 не может одновременно выполнять несколько операций. Поэтому RAID-3 хорош для однопользовательского однозадачного окружения с длинными записями. Для работы с короткими записями требуется синхронизация вращения дисководов, так как иначе неизбежно уменьшение скорости обмена. Применяется редко, т.к. проигрывает RAID-5 по использованию дискового пространства. Реализация требует значительных затрат.

Минимальное количество дисководов в массиве -3.

RAID-4. RAID-4 идентичен RAID-3 за исключением того, что размер страйпов много больше одного сектора. В этом случае чтение осуществляется с одного дисковода (не считая дисковода, хранящего информацию о четности), поэтому возможно одновременное выполнение нескольких операций чтения. Тем не менее, так как каждая операция записи должна обновить содержимое дисковода четности, одновременное выполнение нескольких операций записи невозможно. Этот тип массива не имеет заметных преимуществ перед массивом типа RAID-5.

RAID-5. Этот тип массива иногда называется <массив с вращающейся четностью>. Данный тип массива успешно преодолевает присущий RAID-4 недостаток - невозможность одновременного выполнения нескольких операций записи. В этом массиве, как и в RAID-4, используются страйпы большого размера, но, в отличие от RAID-4, информация о четности хранится не на одном дисководе, а на всех дисководах по очереди:

Дисковод 0	Дисковод 1	Дисковод 2
Блок 0 Блок 2 .... Контрольная сумма блока N и N+1	Блок 1 Контрольная сумма блока 3 и 4 .... Блок N+1	Контрольная сумма блока 1 и 2 Блок 3 .... Блок N

Операции записи обращаются к одному дисководу с данными и к другому дисководу с информацией о четности. Так как информация о четности для разных страйпов хранится на разных дисководах выполнение нескольких одновременных операций записи невозможно только в тех редких случаях, когда- либо страйпы с данными, либо страйпы с информацией о четности находятся на одном и том же дисководе. Чем больше дисководов в массиве, тем реже совпадает местоположение страйпов информации и четности.

Область применения: надежные массивы большого объема. Реализация требует значительных затрат.

Минимальное количество дисководов в массиве -3.

RAID-1 или RAID-5?

Но более высокая эффективность использования дискового пространства достигается за счет более низкой скорости обмена информацией. Во время записи информации в RAID-5 надо каждый раз обновлять информацию о четности. Для этого надо определить, какие именно биты четности изменились. Сначала считывается подлежащая обновлению старая информация. Затем эта информация перемножается по XOR с новой информацией. Результат этой операции - битовая маска, в которой каждый бит =1 означает, что в информации о четности в соответствующей позиции надо заменить значение. Затем обновленная информация о четности записывается на соответствующее место. Следовательно, на каждое требование программы записать информацию, RAID-5 совершает два чтения, две записи и две операции XOR.

За то, что более эффективно используется дисковое пространство (вместо копии данных хранится блок четности) приходится платить: на генерацию и запись информации о четности уходит добавочное время. Это означает, что скорость записи на RAID-5 ниже, чем на RAID-1 в соотношении 3:5 или даже 1:3 (т.е. скорость записи на RAID-5 составляет от 3/5 до 1/3 от скорости записи RAID-1). Из-за этого RAID-5 бессмысленно создавать в программном варианте. Их также нельзя рекомендовать в тех случаях, когда именно скорость записи имеет решающее значение.

Какой выбрать способ реализации RAID - программный или аппаратный?

Действительно, существует возможность программной реализации RAID. Примером может служить ОС Microsoft Windows NT 4.0 Server, в которой возможна программная реализация RAID-0, -1 и даже RAID-5. Однако данное решение следует рассматривать, как крайне упрощенное, не позволяющее полностью реализовать возможности RAID массива. Достаточно отметить, что при программной реализации RAID вся нагрузка по размещению информации на дисководах, вычислению контрольных кодов и т.д. ложиться на центральный процессор, что естественно, не увеличивает производительности и надежности системы. По тем же причинам, здесь практически отсутствуют какие-либо сервисные функции и все операции по замене неисправного дисковода, добавления нового дисковода, изменения уровня RAID и т. п. производятся с полной потерей данных и при полном запрете выполнения каких-либо других операций. Единственное достоинство программной реализации RAID - минимальная стоимость.

Гораздо больше возможностей дает аппаратная реализация RAID при помощи специальных RAID контроллеров:

• специализированный контроллер значительно разгружает центральный процессор от операций с RAID, причем эффективность контроллера тем более заметна, чем выше уровень сложности RAID;
• контроллеры, как правило, снабжены драйверами, позволяющими создать RAID практически для любой популярной ОС;
• встроенный BIOS контроллера и прилагаемые программы управления позволяют администратору системы легко подключать, отключать или заменять дисководы, входящие в RAID, создавать несколько RAID массивов, причем даже разных уровней, контролировать состояние дискового массива и т.д. У <продвинутых> контроллеров эти операции можно производить <на лету>, т.е. не выключая системный блок. Многие операции могут быть выполнены в <фоновом режиме>, т.е. не прерывая текущую работу и даже дистанционно, т.е. с любого (конечно при наличии доступа) рабочего места;
• контроллеры могут оснащаться буферной памятью (<кэш>), в которой запоминаются несколько последних блоков данных, что, при частом обращении к одним и тем же файлам, позволяет значительно увеличить быстродействие дисковой системы.

Недостатком аппаратной реализации RAID является относительно высокая стоимость RAID контроллеров. Однако, с одной стороны, за все (надежность, быстродействие, сервис) надо платить. С другой стороны, в последнее время, с развитием микропроцессорной техники, стоимость RAID контроллеров (особенно младших моделей) стала резко падать и стала сравнимой со стоимостью обыкновенных дисковых контроллеров, что позволяет устанавливать RAID системы не только в дорогие мэйнфреймы, но и в сервера начального уровня и даже в рабочие станции.

Как выбрать модель RAID контроллера?

Можно выделить несколько типов RAID контроллеров в зависимости от их функциональных возможностей, конструктивному исполнению и стоимости:

Контроллеры дисковода с функциями RAID

Ultra (Ultra Wide) SCSI контроллер фирмы Mylex KT930RF (KT950RF)

• объединение до 8-и дисководов в RAID 0, 1или 0+1
• поддержка Hot Spare для замены "на лету" вышедшего из строя дисковода
• возможность автоматической (без вмешательства оператора) замены неисправного дисковода
• автоматический контроль целостности и идентичности (для RAID 1) данных
• наличие пароля для доступа в BIOS
• программа RAIDPlus, представляющая информацию о состоянии дисководов в RAID
• драйвера для DOS, Windows 95, NT 3.5x, 4.0

Ultra ATA/66 IDE контроллер фирмы Promise FastTrak66

• объединение до 4-х дисководов в RAID 0, 1или 0+1
• поддержка Hot Spare для замены "на лету" вышедшего из строя дисковода
• драйвера для DOS, Windows 95/98, NT 3.x/4.х

Для повышения производительности в FastTrak66 используются методы, характерные для SCSI-контроллеров: конвейерный поиск, балансировка загрузки дисководов, буферизация команд интерфейса, оптимизация для различных приложений

Выводы: Контроллеры дисковода с функциями RAID вряд ли можно рекомендовать в качестве RAID контроллера для сервера даже среднего уровня (отсутствует кэш, не поддерживается RAID 3 или 5). В то же время, это прекрасный выбор для серверов начального уровня, графических станций и систем нелинейного видео монтажа, для которых основным параметром является соотношение цена / производительность.

RAID контроллеры, работающие в паре с уже имеющимся дисковым контроллером (<0> канальные RAID контроллеры)

Основные характеристики RAID контроллеров:

	Ultra2 SCSI контроллер фирмы Mylex AcceleRAID 200	Ultra2 SCSI контроллер фирмы AMI MegaRAID Express 000 (Series 762)
RISC процессор	i960RD 66MHz	i960RP 33MHz
Кэш	4-64MB ECC EDO JEDEC SIMM	4-128MB FPM parity SIMM
Поддерживаемые уровни RAID	0, 1 , 0+1, 3, 5, 10, 30, 50& JBOD	0, 1, 3, 5, 10, 30 & 50
Тип SCSI канала на контроллере	Нет	Нет
Тип SCSI канала на системной плате	UltraWide-, Ultra2 SCSI (LVD)	UltraWide-, Ultra2 SCSI (LVD)
Кластеризация RAID контроллеров	Нет	Нет
Автоматическое определение неисправных дисков	Да	Да
Поддержка Hot swapping	Да	Да
Поддержка Hot spare	Да	Да
Программа конфигурирования	In BIOS	Power Console Plus
Программа управления	Global Array Manager	Power Console Plus
Поддерживаемые системные платы	На базе Symbios (53C876, 53C895, 53C896 и т.д.), например Intel N440BX, T440BX, NA440BX и NC440BX	На базе Symbios, например Intel N440BX, SC450NX, или AMI MegaRUM
Драйвера для ОС	Windows NT server 4.0, NetWare 4.x/5.x и SMP, SCO UnixWare 2.1, 7.0, UNIX OSR 5.x	Windows NT 3.x/4.0,NetWare 3.1x/4.x, SCO UNIX SVR 4.2/ODT 3.0/ 5.0, OS/2 2.x/ Warp 3.x/4, UnixWare SMP 2.0/2.1, SCO OpenServer 5.0x

Объединение RAID контроллера с дисковым контроллером через шину PCI значительно нагружает последнюю, тормозя другие операции ввода-вывода. Для повышения общей производительности системы на некоторых системных платах введен дополнительный интерфейс, названный PCI-RAIDport и позволяющий RAID контроллеру напрямую обмениваться данными с интегрированным на системной плате SCSI контроллером.

Для такого интерфейса требуется специализированный RAID контроллер, например Ultra2 SCSI контроллер ARO1130U2 фирмы Adaptec

• Основные характеристики : - Поддерживаемые уровни RAID: 0, 1 , 0+1, 5
• Кэш 2-64MB EDO DIMM Unbuffered Parity
• Рассчитан на работу с системными платами, на которых интегрирован RAIDport II или RAIDport III коннектор и Ultra/Ultra2 SCSI контроллер AIC-7890 или AIC-7896, например Intel L440GX+, C440GX+, SuperMicro P6DBU, S2DGU
• Поддержка Hot Spare и Hot Swap для замены "на лету" вышедшего из строя дисковода
• Драйвера для Windows NT 4.0, NetWare 4.11 и 5.0, UnixWare 7.01

Выводы: <0> канальные RAID контроллеры, работающие в паре с уже имеющимся дисковым контроллером, имеют стоимость не на много выше стоимости качественных Ultra2 SCSI дисковых контроллеров (менее 0). В тоже время по характеристикам они почти не уступают полнофункциональным RAID контроллерам (отсутствует батарейный модуль для защиты кэша (BBU) и не предусмотрена кластеризация RAID контроллеров). Недостатком можно считать то, что эти контроллеры <заточены> для работы с определенными типами системных плат, что сужает область их применения.

<1+> канальные RAID контроллеры

Ultra2 SCSI контроллер фирмы Mylex AcceleRAID 150, AcceleRAID 250
Ultra2 SCSI контроллер фирмы AMI MegaRAID Express 200 (Series 466)
Ultra2 SCSI контроллер фирмы AMI MegaRAID Express 300 (Series 490)

Mylex AcceleRAID 150	Mylex AcceleRAID 250
AMI MegaRAID Express 200 (Serirs 466)	AMI MegaRAID Express 300 (Series 490)

Основные характеристики RAID контроллеров:

Выводы: <1+> канальные RAID контроллеры по характеристикам почти не уступают полнофункциональным RAID контроллерам (более медленный RISC процессор, отсутствует батарейный модуль для защиты кэша (BBU)), но при этом имеют значительно меньшую стоимость ($ 450:0 в зависимости от объема кэша). Возможна работа в паре с уже имеющимся на системной плате дисковым контроллером (дополнительная экономия средств). Можно рекомендовать для серверов начального и среднего уровней, где главное требование - неплохие характеристики при минимальных затратах.

Полнофункциональные RAID контроллеры

• BIOS, позволяющий независимо от используемой ОС конфигурировать и форматировать RAID любого уровня
• Скоростной RISC процессор для быстрого вычисления контрольных сумм и коррекции ошибок <на лету>;
• Кэш-память для хранения часто используемых данных и батарейный модуль для защиты кэша от сбоя питания;
• До 3-х высокоскоростных каналов, работающих независимо, каждый из которых поддерживает до 15 дисководов;
• Поддержка кластеризации контроллеров для создания сверхнадежных систем.

Ultra Wide SCSI контроллер фирмы Mylex DAC960PJ/DAC960PG
Ultra2 SCSI контроллер фирмы Mylex eXtremeRAID 1100
Ultra160/m SCSI контроллер фирмы Mylex AcceleRAID 352
Ultra Wide SCSI контроллер фирмы AMI MegaRAID Enterprise 1200 (Series 428)
Ultra2 SCSI контроллер фирмы AMI MegaRAID Enterprise 1400 (Series 438)
Ultra2 SCSI контроллер фирмы AMI MegaRAID Enterprise 1500

Mylex DAC960PJ/DAC960PG	Mylex eXtremeRAID 1100

Основные характеристики RAID контроллеров:

Модель/параметр	Mylex DAC960PJ/DAC960PG	Mylex eXtremeRAID 1100	Mylex AcceleRAID 352
RISC процессор	i960RD 66MHz / i960RP 33MHz	StrongArm SA 110 233MHz	i960RN 100 MHz
Кэш	4-128MB ECC EDO JEDEC SIMM	32MB/64MB на плате	32MB/64MB на плате
Тип PCI шины	PCI 2.1 32 бит / 33 MHz	PCI 2.1 64 бит / 33 MHz	PCI 2.2 64 бит / 33 MHz
Поддерживаемые уровни RAID	0, 1, 0+1, 3, 5, 10, 30, 50, JBOD	0, 1 , 0+1, 3, 5, 10, 30, 50& JBOD	0, 1 , 0+1, 3, 5, 10, 30, 50& JBOD
Кол-во SCSI каналов	1-3	3	2
Тип SCSI канала на контроллере	UltraWide SCSI	Ultra2 SCSI (LVD)	Ultra160/m SCSI
Кластеризация RAID контроллеров	Нет	Да (NT only)	Да
Автоматическое определение неисправных дисков	Да	Да	Да
Поддержка Hot swapping	Да	Да	Да
Поддержка Hot spare	Да	Да	Да
Батарейный модуль для защиты кэша (BBU)	Поставляется отдельно	Да	Нет
Программа конфигурирования	In BIOS	In BIOS	In BIOS
Программа управления	Global Array Manager	Global Array Manager	Global Array Manager
MTBF, часов	200,000	200,000	200,000
Драйвера для ОС	Windows NT server 3.51/ 4.0, NetWare 3.x/4.x/5.x и SMP, SCO UnixWare 2.x, UNIX OSR 5.x	Windows NT server 3.51/ 4.0, NetWare 3.x/4.x/5.x и SMP, SCO UnixWare 2.1/7.0, UNIX OSR 5.x	Windows 2000, NT server 4.0, NetWare 4.x/5.x и SMP, SCO UnixWare 7.0, UNIX OSR 5.x, Solaris 7, Linux

AMI MegaRAID Enterprise 1200 (Series 428)	AMI MegaRAID Enterprise 1400 (Series 438)
AMI MegaRAID Enterprise 1500

Основные характеристики RAID контроллеров:

Модель/параметр	AMI MegaRAID Enterprise 1200 (Series 428)	AMI MegaRAID Enterprise 1400 (Series 438)	AMI MegaRAID Enterprise 1500
RISC процессор	i960CA 33 MHz	i960RD 66MHz	i960RN 100 Mhz
Кэш	2*4-64MB FPM parity SIMM	4-64MB ECC EDO JEDEC SIMM	16-128 MB 100 MHz 72-bit Unbuffered 3.3 V SDRAM DIMM with ECC
Тип PCI шины	PCI 2.1 32 бит / 33 MHz	PCI 2.1 32 бит / 33 MHz	PCI 2.2 64 бит / 33 MHz
Поддерживаемые уровни RAID	0, 1, 3, 5, 10, 30 & 50	0, 1, 3, 5, 10, 30 & 50	0, 1, 3, 5, 10, 30 & 50
Кол-во SCSI каналов	1-3	1-3	2 int / 4 ext
Тип SCSI канала на контроллере	UltraWide SCSI	Ultra2 SCSI (LVD)	Ultra2 SCSI (LVD)
Кластеризация RAID контроллеров	Optional Firmware with Multi-Initiator Support	Да	Да
Автоматическое определение неисправных дисков	Да	Да	Да
Поддержка Hot swapping	Да	Да	Да
Поддержка Hot spare	Да	Да	Да
Батарейный модуль для защиты кэша (BBU)	Поставляется отдельно	Да	Да
Программа конфигурирования	In BIOS	In BIOS	In BIOS
Программа управления	Power Console Plus	Power Console Plus	Power Console Plus
MTBF, часов	?	?	?
Драйвера для ОС	Windows NT 3.51/4.0, NetWare 3.1x/4.x, SCO UNIX SVR 4.2/ODT 3.0/ 5.0, OS/2 2.x/ Warp 3.x/4, UnixWare SMP 2.x/7.0, Solaris 2.6	Windows NT 3.x/4.0, NetWare 3.1x/4.x/5.0, SCO UNIX SVR 2.x/4.2/ODT 3.0/ 5.0, UnixWare&SMP 2.x/7.0, Linux Redhat, Solaris 2.6/7, OS/2 Warp	Novell NetWare 3.1x, 4.x & 5.0, Windows NT 3.5x/4.0, SCO UNIX 2.x SVR 4.2 & ODT 3.0 & 5.0, UNIXWare&SMP 2.x & 7, DOS 5.0 и выше, Linux Redhat Solaris 2.6 & 7 OS/2 Warp

Выводы: полнофункциональные RAID контроллеры отвечают самым высоким требованиям, как по производительности, так и по надежности и их можно рекомендовать для серверов среднего и верхнего уровней. Цена контроллеров в диапазоне 0:00 в зависимости от количества каналов, объема кэша и наличия BBU модуля. Пользователям следует обратить внимание на повышенные требования к качеству модулей памяти, используемых для кэша, особенно в контроллерах с тактовой частотой RISC процессора более 33 MHz. Рекомендуем, во избежание проблем, приобретать контроллеры с уже установленными <фирменными> модулями памяти.

Внешние RAID контроллеры

Наличие двунаправленных каналов и внешнее исполнение позволяет создавать так называемые кластерные дисковые системы с недостижимой ранее надежностью. В таких системах несколько серверов соединены одновременно с несколькими RAID контроллерами, которые, в свою очередь, управляют несколькими общими дисковыми массивами, причем отказ любого компонента такой системы (сервера, RAID контроллера, диска, блока питания, кабеля и т.д.) не ведет к отказу всей системы, а только несколько снижает ее производительность.

Наиболее известные модели внешних RAID контроллеров:

Ultra2-to-Ultra2 SCSI RAID контроллер фирмы Infortrend IFT-3101U2G
Ultra2-to-Ultra2 SCSI RAID контроллер фирмы Infortrend IFT-3102U2G
Fibre to Ultra2 SCSI RAID контроллер фирмы AMIMegaRAID Explorer 500
Fibre to Ultra2 SCSI RAID контроллер фирмы Mylex DACFL

Infortrend IFT-3101U2G	Infortrend IFT-3102U2G
AMI MegaRAID Explorer 500	Mylex DACFL

Основные характеристики RAID контроллеров:

Модель/параметр	Infortrend IFT-3101U2G	Infortrend IFT-3102U2G	AMI MegaRAID Explorer 500	Mylex DACFL
Формат	3.5" full-height	5.25", half-height	3.5" full-height	5.25", half-height
RISC сопроцессор			64-bit RISC 100 MHz	Dual i960RD 66MHz
Кэш	8-128MB ECC EDO JEDEC SIMM	8-128MB ECC EDO JEDEC SIMM	16-128MB ECC SDRAM DIMM	2*4-128MB
Поддерживаемые уровни RAID	0, 1, 0+1, 3, 5, 10, 30, 50, JBOD	0, 1 , 0+1, 3, 5, 10, 30, 50& JBOD	0, 1, 3, 5, 10, 30 & 50	0, 1, 0+1, 3, 5, 10, 30, 50, JBOD
Кол-во и тип SCSI каналов на основном модуле	2 Ultra2 SCSI	4 Ultra2 SCSI	2 Ultra2 SCSI (to Connect to the Drives) 2 Fibre (to Connect to the Host)	4 Ultra2 SCSI (to Connect to the Drives) 2 Fibre (to Connect to the Host)
Кол-во и тип SCSI каналов на дочерних модулях	2 Ultra2 SCSI (IFT-9152) 2 Ultra Wide, Diff. (IFT-9152D) 2 Fibre (IFT-9152F)	4 Ultra2 SCSI (IFT-9174) 2 Ultra2 SCSI + 2 Ultra Wide, Diff. (IFT-9174U2D) 2 Ultra2 SCSI + 2 Fibre (IFT-9174U2F)
Кластеризация RAID контроллеров	Да	Да		Windows NT и UNIX
Автоматическое определение неисправных дисков	Да	Да	Да	Да
Поддержка Hot swapping	Да	Да	Да	Да
Поддержка Hot spare	Да	Да	Да	Да
Батарейный модуль для защиты кэша	Нет	IFT-9070 + IFT-9010 (Поставляется отдельно)	Да	Да
Способы конфигурирования и управления	С лицевой панели, с эмулятора терминала через RS-232, с сервера, с рабочей станции через сеть	С лицевой панели, с эмулятора терминала через RS-232, с сервера, с рабочей станции через сеть	С лицевой панели, с эмулятора терминала через RS-232, с сервера, с рабочей станции через сеть	Global Array Manager
MTBF, часов	200,000	200,000	?	100,000
Драйвера для ОС	OS independent	OS independent	OS independent	OS independent

Выводы: внешние RAID контроллеры обеспечивают самый высокий уровень производительности и надежности из всех типов RAID контроллеров. Их можно рекомендовать для серверов среднего и верхнего уровней. Наличие FC-AL каналов позволяет разнести сервер и RAID массив на значительное расстояние для защиты данных. Двунаправленные каналы позволяют объединять контроллеры и дисковые массивы в сверхнадежный кластер. Нечувствительность к операционным системам упрощает настройку и устраняет <вечный источник> проблем - <кривые> драйвера. Единственный недостаток - относительно высокая цена, однако, в ряде случаев, применение внешнего RAID контроллера может дать экономию средств. Например, если в системе должны работать два сервера с RAID массивами, то применение одного внешнего RAID контроллера с общим дисковым массивом, подключенного к SCSI контроллерам каждого из серверов, позволит сэкономить стоимость внутреннего RAID контроллера, рационально использовать дисковое пространство, упростить настройку и обслуживание.

Что, помимо контроллера, необходимо для практической реализации RAID?

Технология Hot Swap (замена "на лету") вышедшего из строя дисковода

• а) RAID контроллер, поддерживающий режим Hot Swap (и этот режим должен быть включен);
• б) Специальный конструктив, который позволит менять дисководы, не разбирая корпус системы.
  В качестве такого конструктива можно использовать:
  1. Специальный корпус для винчестера - <рэк> (rack), состоящий из "коробочки", внутри которой находится 3,5" дисковод, которая вставляется в П-образную рамку, закрепляемую в стандартное 5,25" гнездо корпуса системы. На рамке рэка расположены блок управления питанием дисковода и замок с ключом, который механически запирает/отпирает дисковод и включает/выключает напряжение, подаваемое на дисковод. Обычно рэки имеют переключатель SCSI ID-номера дисковода, индикатор SCSI ID-номера, индикатор обращения к дисководу и 1 или 2 вентилятора.
     Достоинства: удобный, защищающий дисковод корпус, безопасная (для работающей системы) процедура замены дисковода, наличие индикаторов и охлаждающих вентиляторов.
     Недостатки: относительно высокая цена (от до 0 на дисковод), дополнительные разъемы и схемы, которые могут стать источником отказов.

  2. <Корзина> для SCSI дисководов с разъемом SCA (80 контактный разъем, в котором объединены сигнальные провода и питание). <Корзина> представляет собой П-образную раму, которая занимает два или четыре стандартных 5,25" гнезда корпуса системы, и, в которую можно вставить до трех или шести SCA SCSI дисководов соответственно. Ответные части SCA SCSI разъемов впаяны в печатную плату, заменяющую гибкий шлейф, на которой установлены переключаемый SCSI терминатор, разъемы для подключения к контроллеру и к следующей корзине и перемычки (переключатели) для установки SCSI ID-номера дисководов. В <корзине> могут быть установлены вентиляторы.
     Достоинства: относительно невысокая цена (около на дисковод), простая конструкция.
     Недостатки: корпус дисковода не защищен от механических повреждений во время замены, процедура замены дисковода небезопасна для работающей системы, отсутствуют индикаторы SCSI ID-номера и индикаторы обращения к дисководу.

Технология Hot Spare (горячее резервирование) вышедшего из строя дисковода

• а) RAID контроллер, поддерживающий режим Hot Spare (и этот режим должен быть включен);
• б) По крайней мере, один дополнительный дисковод, к которому, так же как и к остальным дисководам, входящим в дисковый массив, подключены питающий и сигнальный кабель

Кабельная система

Проблема осложняется тем, что ошибка в расчете кабельной нагрузки (т.е. допустимой длины кабеля и допустимого количества подключенных устройств) может проявиться далеко не сразу. Например, в SCSI интерфейсе используется технология повторения передачи команды или данных, если предыдущая передача прошла с ошибкой, а многие SCSI контроллеры умеют автоматически снижать скорость передачи до уровня, при котором количество ошибок передачи будет на приемлемом уровне. Таким образом, внешне кажется, что все работает нормально, вот только быстродействие системы далека от ожидаемой!

Таким образом, прежде чем проектировать дисковую систему, полезно обратиться к техническому описанию на контроллер, где, как правило, приведены зависимости между скоростью обмена, количеством устройств и допустимой длиной интерфейсного кабеля. Здесь полезно еще раз отметить неоспоримое преимущество интерфейса Ultra2 SCSI над Ultra Wide SCSI, которое благодаря технологии LVD позволяет не только в два раза увеличить скорость обмена, но и при этом как минимум в два раза увеличить допустимую длину интерфейсного кабеля.

Другая особенность кабельной системы - терминаторы - устройства, которые не дают образовываться отраженным сигналам от концов интерфейсного кабеля и обеспечивают необходимый ток в сигнальных проводах. Для осуществления первой функции терминаторы должны устанавливаться по обоим концам интерфейсного кабеля и только там. Некоторые пользователи в целях экономии используют терминаторы, которые имеются на некоторых дисководах. Для дисковых массивов, особенно использующих интерфейс Ultra2 SCSI, это недопустимо. Так как все дисководы в массиве должны быть одинаковыми и взаимозаменяемыми, лучшим решением будет отдельный терминатор, который монтируется на конце интерфейсного кабеля за последним дисководом (при этом, естественно, на всех дисководах терминация должна быть выключена). Для осуществления второй функции желательно, чтобы этот терминатор был активным, тогда необходимый уровень тока в линии будет постоянно поддерживаться на нужном уровне, не зависимо от количества подключенных дисководов.

Что делать, если требуемая длина интерфейсного кабеля превышает максимально допустимую при заданном количестве дисководов и скорости обмена? Возможны следующие варианты:

• разбить дисковый массив на 2-3 группы дисководов и применить 2-х или 3-х канальный RAID контроллер, каждый из каналов которого будет обслуживать свою небольшую группу дисководов;
• применить внешний RAID контроллер, если дисковый массив должен быть внешним;
• применить другой интерфейс: например, Ultra2 SCSI вместо Ultra Wide SCSI или Fibre Chanel место Ultra2 SCSI.

Источник питания

• каждый дисковод потребляет до 40 Ватт (особенно в момент пуска), что дает значительную нагрузку на блок питания;
• бесполезно пытаться создать надежный RAID массив только за счет надежного RAID контроллера и избыточного дискового массива, если все это будет подключено к ненадежному источнику питания.

Вывод: для питания дискового массива необходимо применять резервированный (т.е. сдвоенный с функцией горячей замены) блок питания с отдаваемой мощностью не менее 250 Ватт. Для снижения нагрузки на блок питания в момент пуска системы при большом количестве дисководов полезно включить функцию последовательного пуска дисководов.

Дополнительное охлаждение

Источник: Новый Клондайк
Автор: А.П.Зиновьев