Тести масивів RAID 6, 5, 1 і 0 з дисками SAS-2 компанії Hitachi

Мабуть, минули ті часи, коли пристойний професійний 8-портовий RAID-контролер коштував досить значних грошей. Нині з'явилися рішення для інтерфейсу Serial Attached SCSI (SAS), які дуже навіть привабливі і за ціною, і за функціональністю, та й в плані продуктивності. Про один з них - це огляд.

Контролер LSI MegaRAID SAS 9260-8i

Раніше ми вже писали про інтерфейс SAS другого покоління зі швидкістю передачі 6 Гбіт / с і вельми дешевому 8-портовому HBA-контролері LSI SAS 9211-8i, призначеному для організації систем зберігання даних початкового цінового рівня на базі найпростіших RAID-масивів SAS і SATA- накопичувачів. Модель же LSI MegaRAID SAS 9260-8i буде класом вище - вона оснащена більш потужним процесором з апаратним обрахуванням масивів рівнів 5, 6, 50 і 60 (технологія ROC - RAID On Chip), а також відчутним обсягом (512 Мбайт) набортної SDRAM-пам'яті для ефективного кешування даних. Цим контролером також підтримуються інтерфейси SAS і SATA зі швидкістю передачі даних 6 Гбіт / с, а сам адаптер призначений для шини PCI Express x8 версії 2.0 (5 Гбіт / с на лінію), чого теоретично майже досить для задоволення потреб 8 високошвидкісних портів SAS. І все це - за роздрібною ціною в районі 500 доларів, тобто лише на пару сотень дорожче бюджетного LSI SAS 9211-8i. Сам виробник, до речі, відносить дане рішення до серії MegaRAID Value Line, тобто економічним рішенням.

8-портовий SAS-контролер LSIMegaRAID SAS9260-8i і його процесор SAS2108 з пам'яттю DDR2

Плата LSI SAS 9260-8i має низький профіль (форм-фактор MD2), оснащена двома внутрішніми роз'ємами Mini-SAS 4X (кожен з них дозволяє підключати до 4 SAS-дисків безпосередньо або більше - через порт-мультиплікатори), розрахована на шину PCI Express x8 2.0 і підтримує RAID-масиви рівнів 0, 1, 5, 6, 10, 50 і 60, динамічну функціональність SAS і мн. ін. Контролер LSI SAS 9260-8i можна встановлювати як в рекові сервери формату 1U і 2U (сервери класів Mid і High-End), так і в корпусу ATX і Slim-ATX (для робочих станцій). Підтримка RAID проводиться апаратно - вбудованим процесором LSI SAS2108 (ядро PowerPC на частоті 800 МГц), доукомплектувати 512 Мбайт пам'яті DDR2 800 МГц з підтримкою ECC. LSI обіцяє швидкість роботи процесора з даними до 2,8 Гбайт / с при читанні і до 1,8 Гбайт / с при записі. Серед багатої функціональності адаптера варто відзначити функції Online Capacity Expansion (OCE), Online RAID Level Migration (RLM) (розширення обсягу і зміна типу масивів «на ходу»), SafeStore Encryption Services і Instant secure erase (шифрування даних на дисках і безпечне видалення даних ), підтримку твердотільних накопичувачів (технологія SSD Guard) та багато інших. ін. Опціонально доступний батарейний модуль для цього контролера (з ним максимальна робоча температура не повинна перевищувати +44,5 градусів Цельсія).

Контролер LSI SAS 9260-8i: основні технічні характеристики

Типові застосування LSI MegaRAID SAS 9260-8i виробник позначив так: різноманітні відеостанціі (відео за запитом, відеоспостереження, створення і редагування відео, медичні зображення), високопродуктивні обчислення і архіви цифрових даних, різноманітні сервери (файловий, веб, поштовий, бази даних). Загалом, переважна більшість завдань, що вирішуються в малому і середньому бізнесі.

У біло-помаранчевої коробці з легковажно усміхненим зубасті жіночим обличчям на «титулі» (мабуть, щоб краще заманити бородатих сисадмінів і суворих сістембілдеров) знаходиться плата контролера, брекети для її установки в корпуси ATX, Slim-ATX і ін., Два 4-дискових кабелю з роз'ємами Mini-SAS на одному кінці і звичайним SATA (без харчування) - на іншому (для підключення до 8 дисків до контролера), а також CD з PDF-документацією і драйверами для численних версій Windows, Linux (SuSE і RedHat), Solaris і VMware.

Комплект поставки версії коробочки контролера LSI MegaRAID SAS 9260-8i (міні-хустки ключа MegaRAID Advanced Services Hardware Key поставляється за окремим запитом)

Зі спеціальним апаратним ключем (він поставляється окремо) для контролера LSI MegaRAID SAS 9260-8i доступні програмні технології LSI MegaRAID Advanced Services: MegaRAID Recovery, MegaRAID CacheCade, MegaRAID FastPath, LSI SafeStore Encryption Services (їх розгляд виходить за рамки цієї статті). Зокрема, в плані підвищення продуктивності масиву традиційних дисків (HDD) за допомогою доданого в систему твердотільного накопичувача (SSD) буде корисна технологія MegaRAID CacheCade, за допомогою якої SSD виступає кешем другого рівня для масиву HDD (аналог гібридного рішення для HDD), в окремих випадках забезпечуючи підвищення продуктивності дискової підсистеми до 50 разів. Інтерес представляє також рішення MegaRAID FastPath, за допомогою якого зменшуються затримка обробки процесором SAS2108 операцій введення-виведення (за рахунок відключення оптимізації під НЖМД), що дозволяє прискорити роботу масиву з декількох твердотільних накопичувачів (SSD), підключених безпосередньо до портів SAS 9260-8i.

Операції по конфігурації, налаштування і обслуговування контролера і його масивів зручніше проводити в фірмовому менеджері в середовищі операційної системи (настройки в меню BIOS Setup самого контролера недостатньо багаті - доступні тільки базові функції). Зокрема, в менеджері за кілька кліків мишкою можна організувати будь-який масив і встановити політики його роботи (кешування та ін.) - див. Скріншоти.

Приклади скріншотів Windows-менеджера по конфігурації масивів RAID рівнів 5 (вгорі) і 1 (внизу).

тестування

Для знайомства з базової продуктивністю LSI MegaRAID SAS 9260-8i (без ключа MegaRAID Advanced Services Hardware Key і супутніх технологій) ми використовували п'ять високопродуктивних SAS-накопичувачів із швидкістю обертання шпинделя 15 тис. Об / хв і підтримкою інтерфейсу SAS-2 (6 Гбіт / з) - Hitachi Ultrastar 15K600 HUS156030VLS600 ємністю по 300 Гбайт.

Жорсткий диск Hitachi Ultrastar 15K600 без верхньої кришки

Це дозволить нам протестувати всі базові рівні масивів - RAID 6, 5, 10, 0 і 1, причому не тільки при мінімальному для кожного з них зокрема дисків, але і «на виріст», тобто при додаванні диска в другій з 4-канальних SAS-портів чіпа ROC. Відзначимо, що у героя цієї статті є спрощений аналог - 4-портовий контролер LSI MegaRAID SAS 9260-4i на тій же елементній базі. Тому наші тести 4-дискових масивів з тим же успіхом можна застосувати й до нього.

Максимальна швидкість послідовного читання / запису корисних даних для Hitachi HUS156030VLS600 становить близько 200 Мбайт / с (див. Графік). Середній час випадкового доступу при читанні (за специфікаціями) - 5,4 мс. Вбудований буфер - 64 Мбайт.

Графік швидкості послідовного читання / запису диска Hitachi Ultrastar 15K600 HUS156030VLS600

Тестова система була заснована на процесорі Intel Xeon 3120, материнської плати з чіпсетом Intel P45 і 2 Гбайт пам'яті DDR2-800. SAS-контролер встановлювався в слот PCI Express x16 v2.0. Випробування проводилися під управлінням операційних систем Windows XP SP3 Professional і Windows 7 Ultimate SP1 x86 (чисті американські версії), оскільки їх серверні аналоги (Windows 2003 і 2008 відповідно) не дозволяють працювати деяким з використаних нами бенчмарков і скриптів. Як тестів використовувалися програми AIDA64, ATTO Disk Benchmark 2.46, Intel IOmeter 2006, Intel NAS Performance Toolkit 1.7.1, C'T H2BenchW 4.13 / 4.16, HD Tach RW 3.0.4.0 і за компанію Futuremark PCMark Vantage і PCMark05. Тести проводилися як на нерозмічену томах (IOmeter, H2BenchW, AIDA64), так і на відформатованих розділах. В останньому випадку (для NASPT і PCMark) результати знімалися як для фізичного початку масиву, так і для його середини (томи масивів максимально доступною ємності розбивалися на два рівновеликих логічних розділу). Це дозволяє нам більш адекватно оцінювати продуктивність рішень, оскільки найшвидші початкові ділянки томів, на яких проводяться файлові бенчмарки більшістю оглядачів, часто не відображають ситуації на інших ділянках диска, які в реальній роботі також можуть використовуватися досить активно.

Всі тести проводилися п'ятикратно і результати усереднювалися. Детальніше нашу оновлену методику оцінки професійних дискових рішень ми розглянемо в окремій статті.

Залишається додати, що при даному тестуванні ми використовували версію прошивки контролера 12.12.0-0036 і драйвери версії 4.32.0.32. Кешування запису і читання для всіх масивів і дисків було активовано. Можливо, використання більш сучасної прошивки і драйверів вберегло нас від дивацтв, помічених в результатах ранніх тестів такого ж контролера. У нашому випадку подібних казусів не спостерігалося. Втім, і вельми сумнівний за достовірності результатів скрипт FC-Test 1.0 (який в певних випадках тим же колегам «хочеться назвати розбродом, хитанням і непередбачуваністю») ми теж в нашому пакеті не використовуємо, оскільки раніше багато разів помічали його неспроможність на деяких файлових патернах ( зокрема, наборах безлічі дрібних, менш 100 Кбайт, файлів).

На діаграмах нижче наведені результати для 8 конфігурацій масивів:

1. RAID 0 з 5 дисків;
2. RAID 0 з 4 дисків;
3. RAID 5 з 5 дисків;
4. RAID 5 з 4 дисків;
5. RAID 6 з 5 дисків;
6. RAID 6 з 4 дисків;
7. RAID 1 з 4 дисків;
8. RAID 1 з 2 дисків.

Під масивом RAID 1 з чотирьох дисків (див. Скріншот вище) в компанії LSI, очевидно, розуміють масив «страйп + дзеркало», звичайно позначається як RAID 10 (це підтверджують і результати тестів).

Результати тестування

Щоб не перевантажувати веб-сторінку огляду незліченною набором діаграм, часом малоінформативних і утомляющих (чим нерідко грішать деякі «шалені колеги» :)), ми звели детальні результати деяких тестів в таблицю. Бажають проаналізувати тонкощі отриманих нами результатів (наприклад, з'ясувати поведінку фігурантів у найбільш критичних для себе завдання) можуть зробити це самостійно. Ми ж зробимо упор на найбільш важливих і ключових результатах тестів, а також на усереднені показники.

Спочатку поглянемо на результати «чисто фізичних» тестів.

Середній час випадкового доступу до даних при читанні на одиничному диску Hitachi Ultrastar 15K600 HUS156030VLS600 становить 5,5 мс. Однак при організації їх в масиви цей показник трохи змінюється: зменшується (завдяки ефективному кешування в контролері LSI SAS9260) для «дзеркальних» масивів і збільшується - для всіх інших. Найбільше зростання (приблизно на 6%) спостерігається для масивів рівня 6, оскільки при цьому контролеру доводиться одночасно звертатися до найбільшого числа дисків (до трьох для RAID 6, до двох - для RAID 5 і до одного для RAID 0, оскільки звернення в цьому тесті відбувається блоками розміром всього 512 байт, що істотно менше розміру блоків чергування масивів).

Набагато цікавіша ситуація з випадковим доступом до масивів під час запису (блоками по 512 байт). Для одиничного диска цей параметр дорівнює близько 2,9 мс (без кешування в хост-контролері), проте в масивах на контролері LSI SAS9260 ми спостерігаємо істотне зменшення цього показника - завдяки гарному кешування запису в SDRAM-буфері контролера об'ємом 512 Мбайт. Цікаво, що найбільш кардинальний ефект виходить для масивів RAID 0 (час випадкового доступу при записі падає майже на порядок в порівнянні з одиночним накопичувачем)! Це безсумнівно повинно благотворно позначитися на швидкодії таких масивів в ряді серверних задач. У той же час, і на масивах з XOR-обчисленнями (тобто високим навантаженням на процесор SAS2108) випадкові звернення на записи не призводять до явного просідання швидкодії - знову завдяки потужному кешу контролера. Закнонмерно, що RAID 6 тут трохи повільніше, ніж RAID 5, однак різниця між ними, по суті, є несуттєвою. Дещо здивувала в цьому тесті поведінку одиночного «дзеркала», який показав найповільніший випадковий доступ при записі (можливо, це «фіча» микрокода даного контролера).

Графіки швидкості лінійного (послідовного) читання і запису (великими блоками) для всіх масивів не мають будь-яких особливостей (для читання і запису вони практично ідентичні за умови залучення кешування запису контролера) і всі вони масштабуються відповідно до кількості дисків, паралельно беруть участь в «корисному »процесі. Тобто для пятідіскового RAID 0 дисків швидкість «упятеряется» щодо одиночного диска (досягаючи показника в 1 Гбайт / с!), Для пятідіскового RAID 5 вона «учетверяется», для RAID 6 - «утрояется» (потроюється, звичайно ж :)), для RAID 1 з чотирьох дисків - подвоюється (ніяких «у2яіца»! :)), а для простого дзеркала - дублює графіки одиночного диска. Ця закономірність наочно видно, зокрема, за показниками максимальної швидкості читання і запису реальних великих (256 Мбайт) файлів великими блоками (від 256 Кбайт до 2 Мбайт), що ми проілюструємо діаграмою тесту ATTO Disk Benchmark 2.46 (результати цього тесту для Windows 7 і XP практично ідентичні).

Тут із загальної картини несподівано випав лише випадок читання файлів на масиві RAID 6 з 5 дисків (результати багаторазово перевірені ще раз). Втім, для читання блоками 64 Кбайт швидкість даного масиву набирає належні йому 600 Мбайт / с. Так що спишемо даний факт на «фічу» поточної прошивки. Відзначимо також, що під час запису реальних файлів швидкість трохи вище завдяки кешування в великому буфері контролера, причому різниця з читанням тим відчутніше, чим менше реальна лінійна швидкість масиву.

Що ж стосується швидкості інтерфейсу, вимірюваної зазвичай за показниками записи і читання буфера (багаторазові звернення по одному і тому ж адресою дискового тому), то тут ми змушені констатувати, що майже для всіх масивів вона виявилася однакова завдяки включенню кеша контролера для цих масивів (див . таблицю). Так, показники при записі для всіх учасників нашого тесту склали приблизно 2430 Мбайт / с. Зауважимо, що шина PCI Express x8 2.0 теоретично дає швидкість 40 Гбіт / с або 5 Гбайт / с, однак по корисним даними теоретичну межу нижче - 4 Гбайт / с, і значить, в нашому випадку контролер дійсно працював за версією 2.0 шини PCIe. Таким чином, виміряні нами 2,4 Гбайт / с - це, очевидно, реальна пропускна здатність набортної пам'яті контролера (пам'ять DDR2-800 при 32-бітної шині даних, що видно з конфігурації ECC-чіпів на платі, теоретично дає до 3,2 Гбайт / с). При читанні ж масивів кешування не настільки «всеохоплююче», як під час запису, тому і яка вимірюється в утиліти швидкість «інтерфейсу», як правило, нижче швидкості читання кеш-пам'яті контролера (типові 2,1 Гбайт / с для масивів рівнів 5 і 6) , і в деяких випадках вона «падає» до швидкості читання буфера самих жорстких дисків (близько 400 Мбайт / с для одиночного вінчестера, див. графік вище), помноженої на число «послідовних» дисків в масиві (це як раз випадки RAID 0 і 1 з наших результатів).

Що ж, з «фізикою» ми в першому наближенні розібралися, пора переходити до «ліриці», тобто до тестів «реальних» пацанів додатків. До слова, цікаво буде з'ясувати, масштабується чи продуктивність масивів при виконанні комплексних призначених для користувача завдань так само лінійно, як вона масштабується при читанні і запису великих файлів (див. Діаграму тесту ATTO трохи вище). Допитливий читач, сподіваюся, вже зміг передбачити відповідь на це питання.

Як «салату» до нашої «ліричної» частини трапези подамо десктопні за своєю природою дискові тести з пакетів PCMark Vantage і PCMark05 (під Windows 7 і XP відповідно), а також схожий на них «трековий» тест додатків з пакету H2BenchW 4.13 авторитетного німецького журналу C'T. Так, ці тести початково створювалися для оцінки жорстких дисків настільних ПК і недорогих робочих станцій. Вони емулюють виконання на дисках типових задач просунутого персонального комп'ютера - роботу з відео, аудіо, «фотошопом», антивірусом, іграми, своп-файлом, установкою додатків, копіюванням і записом файлів і ін. Тому і їх результати в контексті даної статті не варто сприймати як істину в останній інстанції - все-таки на багатодисковим масивах частіше виконуються інші завдання. Проте, в світлі того, що сам виробник позиціонує даний RAID-контролер, в тому числі, для відносно недорогих рішень, подібний клас тестових завдань цілком здатний характеризувати деяку частку додатків, які в реальності будуть виконуватися на таких масивах (та ж робота з відео, професійна обробка графіки, свопування ОС і ресурсоємних додатків, копіювання файлів, анітівірус та ін.). Тому і значення цих трьох комплексних бенчмарков в нашому спільному пакеті не варто недооцінювати.

У популярному PCMark Vantage в середньому (див. Діаграму) ми спостерігаємо дуже примітний факт - продуктивність даного багатодискового рішення майже не залежить від типу використовуваного масиву! До слова, в певних межах це висновок справедливий і для всіх окремих тестових треків (типів завдань), що входять до складу пакетів PCMark Vantage і PCMark05 (деталі див. У таблиці). Це може означати або те, що алгоритми прошивки контролера (з кешем і дисками) майже не враховують специфіку роботи додатків подібного типу, або те, що основна частина цих завдань виконується в кеш-пам'яті самого контролера (а швидше за все ми спостерігаємо комбінацію цих двох факторів ). Втім, для останнього випадку (тобто виконання треків в великій мірі в кеші RAID-коннтроллера) середня продуктивність рішень виявляється не такою вже високою - порівняйте ці дані з результатами тестів деяких «десктопних» ( «чіпсетаних») 4-дискових масивів RAID 0 і 5 і недорогих одиночних SSD на шині SATA 3 Гбіт / с (див. огляд). Якщо в порівнянні з простим «чіпсетний» 4-дисковим RAID 0 (причому на вдвічі більше повільних вінчестерах, ніж застосовані тут Hitachi Ultrastar 15K600) масиви на LSI SAS9260 швидше в тестах PCMark менш ніж удвічі, то щодо навіть не найшвидшого «бюджетного» одиночного SSD все вони однозначно програють! Результати дискового тесту PCMark05 дають аналогічну картину (див. Табл.; Малювати окрему діаграму для них сенсу немає).

Схожу картину (з окремими застереженнями) для масивів на LSI SAS9260 можна спостерігати в ще одному «трековому» бенчмарке додатків - C'T H2BenchW 4.13. Тут лише два найбільш повільних (за будовою) масиву (RAID 6 з 4 дисків і просте «дзеркало») помітно відстають від всіх інших масивів, продуктивність яких, очевидно, сягає того «достатнього» рівня, коли вона впирається вже не в дискову підсистему, а в ефективність роботи процесора SAS2108 c кеш-пам'яттю контролера при даних комплексних послідовності звернень. А радувати нас в цьому контексті може те, що продуктивність масивів на базі LSI SAS9260 в задачах такого класу майже не залежить від типу використовуваного масиву (RAID 0, 5, 6 або 10), що дозволяє використовувати більш надійні рішення без шкоди для підсумкової продуктивності.

Втім, "не все коту Масляна» - якщо ми змінимо тести і перевіримо роботу масивів з реальними файлами на файлову систему NTFS, то картина кардинально зміниться. Так, в тесті Intel NASPT 1.7, багато хто з «встановлених» сценаріїв якого мають досить пряме відношення до завдань, типовим для комп'ютерів, оснащених контролером LSI MegaRAID SAS9260-8i, диспозиція масивів схожа на ту, що ми спостерігали в тесті ATTO при читанні і запису великих файлів - швидкодія пропорційно наростає в міру зростання «лінійної» швидкості масивів.

На цій діаграмі ми наводимо усереднений за всіма тестами і паттернам NASPT показник, тоді як в таблиці можна бачити детальні результати. Підкреслю, що NASPT проганяли нами як під Windows XP (так зазвичай надходять численні оглядачі), так і під Windows 7 (що в силу певних особливостей цього тесту робиться рідше). Справа в тому, що Seven (і її «старший братик» Windows 2008 Server) використовують більш агресивні алгоритми власного кешування при роботі з файлами, ніж XP. Крім того, копіювання великих файлів в «Сімці» відбувається переважно блоками по 1 Мбайт (XP, як правило, оперує блоками по 64 Кбайт). Це призводить до того, що результати «файлового» тесту Intel NASPT істотно розрізняються в Windows XP і Windows 7 - в останній вони набагато вище, часом більш ніж удвічі! До слова, ми порівняли результати NASPT (і інших тестів нашого пакета) під Windows 7 з 1 Гбайт і 2 Гбайт встановленої системної пам'яті (є інформація, що при великих обсягах системної пам'яті кешування дискових операцій в Windows 7 посилюється і результати NASPT стають ще вище) , проте в межах похибки вимірювань ми не знайшли жодної різниці.

Суперечки про те, під якою ОС (в плані політик кешування та ін.) «Краще» тестувати диски і RAID-контролери, ми залишаємо для гілки обговорень цієї статті. Ми ж вважаємо, що тестувати накопичувачі і рішення на їх основі треба в умовах, максимально наближених до реальних ситуацій їх експлуатації. Саме тому рівну цінність, на наш погляд, мають результати, отримані нами для обох ОС.

Але повернемося до діаграми усередненої продуктивності в NASPT. Як бачимо, різниця між найшвидшим і самим повільним з протестованих нами масивів тут становить в середньому трохи менше трьох разів. Це, звичайно, не п'ятикратний розрив, як при читанні і запису великі файлів, але теж вельми відчутно. Масиви розташувалися фактично пропорційно своїй лінійної швидкості, і це не може не радувати: значить, процесор LSI SAS2108 досить спритно обробляє дані, майже не створюючи вузьких місць при активній роботі масивів рівнів 5 і 6.

Справедливості заради потрібно відзначити, що і в NASPT є патерни (2 з 12), в яких спостерігається та ж картина, що й в PCMark c H2BenchW, а саме що продуктивність всіх протестованих масивів практично однакова! Це Office Productivity і Dir Copy to NAS (див. Табл.). Особливо явно це під Windows 7, хоча і для Windows XP тенденція «зближення» в наявності (в порівнянні з іншими патернами). Втім, і в PCMark c H2BenchW є патерни, де в наявності зростання продуктивності масивів пропорційно їх лінійної швидкості. Так що все не так просто і однозначно, як може декому хотілося б.

Спочатку я хотів обговорити діаграму з загальними показниками швидкодії масивів, усередненими за всіма тестами додатків (PCMark + H2BenchW + NASPT + ATTO), тобто ось цю:

Однак обговорювати тут особливо нічого: ми бачимо, що поведінка масивів на контролері LSI SAS9260 в тестах, емулює роботу тих чи інших додатків, може кардинально відрізнятися в залежності від застосовуваних сценаріїв. Тому висновки про користь тієї чи іншої конфігурації краще робити, виходячи з того, які саме завдання ви збираєтеся при цьому виконувати. І в цьому нам може помітно допомогти ще один професійний тест - синтетичні патерни для IOmeter, адаптовані ту чи іншу навантаження на систему зберігання даних.

Тести в IOmeter

В даному випадку ми опустимо обговорення численних патернів, ретельно вимірюють швидкість роботи в залежності від розміру блоку звернення, відсотки операцій записи, відсотки випадкових звернень та ін. Це, по суті, чиста синтетика, що дає мало корисної практичної інформації і представляє інтерес швидше чисто теоретично. Адже основні практичні моменти щодо «фізики» ми вже з'ясували вище. Нам важливіше зосередитися на патернах, емулює реальну роботу - серверів різного типу, а також операцій з файлами.

Для емуляції серверів типу File Server, Web Server і DataBase (сервер бази даних) ми скористалися однойменними і добре відомими паттернами, запропонованими свого часу Intel і StorageReview.com. Для всіх випадків ми протестували масиви при глибині черги команд (QD) від 1 до 256 з кроком 2.

У паттерне «База даних», що використовують випадкові звернення до диска блоками по 8 Кбайт в межах всього обсягу масиву, можна спостерігати істотну перевагу масивів без контролю парності (тобто RAID 0 і 1) при глибині черги команд від 4 і вище, тоді як всі масиви з контролем парності (RAID 5 і 6) демонструють дуже близьке швидкодію (незважаючи на дворазове відмінність між ними в швидкості лінійних звернень). Ситуація пояснюється просто: все масиви з контролем парності показали в тестах на середній час випадкового доступу близькі значення (див. Діаграму вище), а саме цей параметр в основному визначає продуктивність в даному тесті. Цікаво, що швидкодія всіх масивів наростає практично лінійно з ростом глибини черги команд аж до 128, і лише при QD \u003d 256 для деяких випадків можна бачити натяк на насичення. Максимальна продуктивність масивів з контролем парності при QD \u003d 256 склала близько 1100 IOps (операцій в секунду), тобто на обробку однієї порції даних в 8 Кбайт процесор LSI SAS2108 витрачає менше 1 мс (близько 10 млн однобайтових XOR-операцій в секунду для RAID 6 ; зрозуміло, процесор при цьому виконує паралельно й інші завдання по введенню-висновку даних і роботі з кеш-пам'яттю).

У паттерне файлового сервера, що використовує блоки різного розміру при випадкових зверненнях читання і запису до масиву в межах всього його обсягу, ми спостерігаємо схожу на DataBase картину з тією різницею, що тут пятідісковие масиви з контролем парності (RAID 5 і 6) помітно обходять по швидкості свої 4-дискові аналоги і демонструють при цьому майже ідентичну продуктивність (близько 1200 IOps при QD \u003d 256)! Мабуть, додавання п'ятого диска на другий з двох 4-канальних SAS-портів контролера якимось чином оптимізує обчислювальні навантаження на процесор (за рахунок операцій введення-виведення?). Можливо, варто порівняти за швидкістю 4-дискові масиви, коли накопичувачі попарно підключені до різних Mini-SAS-роз'ємів контролера, щоб виявити оптимальну конфігурацію для організації масивів на LSI SAS9260, але це вже завдання для іншої статті.

У паттерне веб-сервера, де, за задумом його творців, відсутні як клас операції запису на диск (а значить, і обчислення XOR-функцій на запис), картина стає ще цікавіше. Справа в тому, що всі три пятідіскових масиву з нашого набору (RAID 0, 5 і 6) показують тут ідентичне швидкодію, незважаючи на помітну різницю між ними за швидкістю лінійного читання і обчислень з контролю парності! До слова, ці ж три масиву, але з 4 дисків, також ідентичні за швидкістю один одному! І лише RAID 1 (і 10) випадає із загальної картини. Чому так відбувається, судити складно. Можливо, контролер має дуже ефективні алгоритми вибірки «вдалих дисків» (тобто тих з п'яти або чотирьох дисків, з яких першими приходять потрібні дані), що в разі RAID 5 і 6 підвищує ймовірність більш раннього надходження даних з пластин, заздалегідь готуючи процесор для потрібних обчислень (згадаємо про глибоку чергу команд і великий буфер DDR2-800). А це в підсумку може компенсувати затримку, пов'язану з XOR-обчисленнями і зрівнює їх у «шансах» з «простим» RAID 0. У будь-якому випадку, контролер LSI SAS9260 можна тільки похвалити за екстремально високі результати (близько 1700 IOps для 5-дискових масивів при QD \u003d 256) в паттерне Web Server для масивів з контролем парності. На жаль, ложкою дьогтю стала вельми низька продуктивність дводискового «дзеркала» у всіх цих серверних патернах.

Патерни Web Server вторить наш власний патерн, що емулює випадкове читання невеликих (64 Кбайт) файлів в межах всього простору масиву.

Знову результати об'єдналися в групи - все 5-дискові масиви ідентичні один одному по швидкості і лідирують в нашому «забігу», 4-дискові RAID 0, 5 і 6 теж не відрізнити один від одного по продуктивності, і лише «дзеркалки» випадають із загальної маси (до слова, 4 дискова «зеркалка», тобто RAID 10 виявляється швидше за всіх інших 4-дискових масивів - мабуть, за рахунок того ж самого алгоритму «вибору вдалого диска»). Підкреслимо, що дані закономірності справедливі лише для великої глибини черги команд, тоді як при малій черзі (QD \u003d 1-2) ситуація і лідери можуть бути зовсім іншими.

Все змінюється при роботі серверів з великими файлами. В умовах сучасного «поважчав» контенту і нових «оптимізованих» ОС типу Windows 7, 2008 Server т.п. робота з мегабайтними файлами і блоками даних по 1 Мбайт набуває все більш важливе значення. У цій ситуації наш новий патерн, що емулює випадкове читання 1-мегабайтних файлів в межах всього диска (деталі нових патернів будуть описані в окремій статті за методикою), виявляється як не можна до речі, щоб більш повно оцінити серверний потенціал контролера LSI SAS9260.

Як бачимо, 4-дисковий «дзеркало» тут вже нікому не залишає надій на лідерство, явно домінуючи при будь-якій черзі команд. Його продуктивність також спочатку росте лінійно з ростом глибини черги команд, проте при QD \u003d 16 для RAID 1 вона виходить на насичення (швидкість близько 200 Мбайт / с). Трохи «пізніше» (при QD \u003d 32) «насичення» продуктивності настає у більш повільних в цьому тесті масивів, серед яких «срібло» і «бронзу» доводиться віддати RAID 0, а масиви з контролем парності виявляються в аутсайдерах, поступившись навіть раніше не блищати RAID 1 з двох дисків, який виявляється несподівано хороший. Це приводить нас до висновку, що навіть при читанні обчислювальна XOR-навантаження на процесор LSI SAS2108 при роботі з великими файлами і блоками (розташованими випадковим чином) виявляється для нього вельми обтяжлива, а для RAID 6, де вона фактично подвоюється, часом навіть непомірна - продуктивність рішень ледь перевищує 100 Мбайт / с, тобто в 6-8 разів нижче, ніж при лінійному читанні! «Надмірна» RAID 10 тут застосовувати явно вигідніше.

При випадкового запису дрібних файлів картина знову разюче відрізняється від тих, що ми бачили раніше.

Справа в тому, що тут уже продуктивність масивів практично не залежить від глибини черги команд (очевидно, позначається величезний кеш контролера LSI SAS9260 і немаленькі кеши самих вінчестерів), зате кардинально змінюється з типом масиву! У беззаперечних лідерів тут «простенькі» для процесора RAID 0, а «бронза» з більш ніж дворазовим програшем лідеру - у RAID 10. Всі масиви з контролем парності утворили дуже тісний єдину групу з дводисковою зеркалкой (деталі по ним наведені на окремій діаграмі під основний ), триразово програючи лідерам. Так, це, безумовно, важке навантаження на процесор контролера. Однак такого «провалу» я, відверто кажучи, від SAS2108 не очікував. Часом навіть Софтова RAID 5 на «чіпсетом» SATA-контролері (з кешуванням засобами Windows і обрахуванням за допомогою центрального процесора ПК) здатний працювати спритніше ... Втім, «свої» 440-500 IOps контролер при цьому все-таки видає стабільно - порівняйте це з діаграмою за середнім часом доступу при записі на початку розділу результатів.

Перехід на випадкову запис великих файлів по 1 Мбайт приводить до зростання абсолютних показників швидкості (для RAID 0 - майже до значень при випадковому читанні таких файлів, тобто 180-190 Мбайт / с), проте загальна картина майже не змінюється - масиви з контролем парності в рази повільніше RAID 0.

Цікава картина для RAID 10 - його продуктивність падає з ростом глибини черги команд, хоча і не сильно. Для інших масивів такого ефекту немає. Дводискова «дзеркало» тут знову виглядає скромно.

Тепер подивимося на патерни, в яких файли в рівних кількостях читаються і пишуться на диск. Такі навантаження характерні, зокрема, для деяких відеосерверов або при активному копіюванні / дупліцірованіі / резервування файлів в межах одного масиву, а також в разі дефрагментації.

Спочатку - файли по 64 Кбайт випадковим чином по всьому масиву.

Тут очевидно деяка подібність із результатами паттерна DataBase, хоча Абсолютний швидкості у масивів рази в три вище, та й при QD \u003d 256 вже помітно деяке насичення продуктивності. Більший (в порівнянні з патерном DataBase) відсоток операцій записи в цьому випадку призводить до того, що масиви з контролем парності і двухдисковое «дзеркало» стають явними аутсайдерами, істотно поступаючись по швидкості масивів RAID 0 і 10.

При переході на файли по 1 Мбайт дана закономірність в цілому зберігається, хоча абсолютні швидкості приблизно потроюються, а RAID 10 стає таким же швидким, як 4-дисковий «страйп», що не може не радувати.

Останнім патерном в цій статті буде випадок послідовного (на противагу випадковим) читання і запису великих файлів.

І тут уже багатьом масивів вдається розігнатися до вельми пристойних швидкостей в районі 300 Мбайт / с. І хоча більш ніж дворазовий розрив між лідером (RAID 0) і аутсайдером (дводисковий RAID 1) зберігається (зауважимо, що при лінійному читанні АБО записи цей розрив пятікратен!), Який увійшов до трійки лідерів RAID 5, та й підтягся інші XOR-масиву не можуть не обнадіювати. Адже якщо зважити на те переліку застосувань даного контролера, який призводить сама LSI (див. Початок статті), багато цільові завдання будуть використовувати саме цей характер звернень до масивів. І це безперечно варто враховувати.

На закінчення приведу підсумкову діаграму, в якій усереднені показники всіх озвучених вище патернів тесту IOmeter (геометрично за всіма паттернам і черг команд, без вагових коефіцієнтів). Цікаво, що якщо усереднення даних результатів всередині кожного патерну проводити арифметично з ваговими коефіцієнтами 0,8, 0,6, 0,4 і 0,2 для черг команд 32, 64, 128 і 256 відповідно (що умовно враховує падіння частки операцій з високою глибиною черги команд в загальній роботі накопичувачів), то підсумковий (за всіма паттернам) нормований індекс швидкодії масивів в межах 1% співпаде із середнім геометричним.

Отже, середня «температура по лікарні» в наших патернах для тесту IOmeter показує, що від «фізики з матемачіхой» нікуди не піти - однозначно лідирують RAID 0 і 10. Для масивів з контролем парності дива не сталося - процесор LSI SAS2108 хоч і демонструє в деяких випадках пристойну продуктивність, в цілому не може «дотягнути» такі масиви до рівня простого «страйп». При цьому цікаво, що 5-дискові конфігурації явно додають в порівнянні з 4 дисковими. Зокрема, 5-дісквий RAID 6 однозначно швидше 4-дискового RAID 5, хоча по «фізиці» (часу випадкового доступу і швидкості лінійного доступу) вони фактично ідентичні. Також засмутило двухдисковое «дзеркало» (в середньому воно рівноцінно 4-дисковому RAID 6, хоча для дзеркала двох XOR-обчислень на кожен біт даних не потрібно). Втім, просте «дзеркало» - це очевидно не цільовий масив для досить потужного 8-портового SAS-контролера з великим кешем і потужним процесором «на борту». :)

цінова інформація

8-портовий SAS-контролер LSI MegaRAID SAS 9260-8i з повним комплектом пропонується за ціною в районі 500 доларів, що можна вважати досить привабливим. Його спрощений 4-портовий аналог ще дешевше. Більш точна поточна середня роздрібна ціна пристрою в Москві, актуальна на момент читання вами даної статті:

висновок

Підсумовуючи сказане вище, можна зробити висновок, що єдиних рекомендацій «для всіх» за 8-портового контролера LSI MegaRAID SAS9260-8i ми давати не ризикнемо. Про необхідність його використання і конфігурації тих чи інших масивів з його допомогою кожен повинен робити висновки самостійно - строго виходячи з того класу задач, які передбачається при цьому запускати. Справа в тому, що в одних випадках (на одних завданнях) цей недорогий «мегамонстрів» здатний показати видатну продуктивність навіть на масивах з подвійним контролем парності (RAID 6 і 60), проте в інших ситуаціях швидкість його RAID 5 і 6 явно залишає бажати кращого . І порятунком (майже універсальним) стане лише масив RAID 10, який майже з тим же успіхом можна організувати і на дешевших контролерів. Втім, нерідко саме завдяки процесору і кеш-пам'яті SAS9260-8i масив RAID 10 поводиться тут нітрохи не повільніше «Страйп» з того ж числа дисків, забезпечуючи при цьому високу надійність рішення. А ось чого однозначно варто уникати з SAS9260-8i, так це дводисковою «дзеркалки» і 4-дискових RAID 6 і 5 - для даного контролера це очевидно неоптимальні конфігурації.

Дякуємо компанії Hitachi Global Storage Technologies
за надані для тестів жорсткі диски.

SAS (Serial Attached SCSI) - послідовний комп'ютерний інтерфейс, розроблений для підключення різних пристроїв зберігання даних, наприклад, і стрічкових накопичувачів. SAS розроблений для заміни паралельного інтерфейсу SCSI і використовує той же набір команд SCSI.

SAS сумісний з інтерфейсом SATA: пристрої SATA II і SATA 6 Gb / s можуть бути підключені до контролера SAS, але пристрої SAS можна підключити до контролера SATA. Остання реалізація SAS забезпечує передачу даних зі швидкістю до 12Гбіт / с на одну лінію. До 2017-го року очікується поява специфікації SAS зі швидкістю передачі даних 24Гбіт / с

SAS поєднує переваги інтерфейсів SCSI (глибока сортування черги команд, хороша масштабованість, висока перешкодозахищеність, велика максимальна довжина кабелів) і Serial ATA (тонкі, гнучкі дешеві кабелі, можливість гарячого підключення, топологія типу «точка-точка», що дозволяє досягати більшої продуктивності в складних конфігураціях) з новими унікальними можливостями - такими, як просунута топологія підключення з використанням хабів, іменованих SAS-розширювачами (SAS- експандери), підключення до одного двох SAS-каналів (як для підвищення надійності, так і продуктивності), робота на одному дисків як з SAS, так і з SATA-інтерфейсом.

У поєднанні з новою системою адресації це дозволяє підключати до 128 пристроїв на один порт і мати до 16256 пристроїв на контролері, при цьому не потрібні будь-які маніпуляції з перемичками і т.п. Знято обмеження в 2 Терабайта на обсяг логічного пристрою.

Максимальна довжина кабелю між двома SAS-пристроями -10 м при використанні пасивних мідних кабелів.

Власне під протоколом передачі даних SAS мається на увазі відразу три протоколи - SSP (Serial SCSI Protocol), що забезпечує передачу SCSI-команд, SMP (SCSI Management Protocol), що працює з керуючими SCSI-командами і відповідає, наприклад, за взаємодію з SAS-розширювачами, і STP (SATA Tunneled Protocol), за допомогою якого реалізована підтримка SATA-пристроїв.

Продукція, що в даний момент мають внутрішні роз'єми типу SFF-8643 (так само може називатися mini SAS HD), але все ще можуть зустрітися роз'єми типу SFF-8087 (mini SAS), на який виведено 4 SAS каналу.

Зовнішній варіант інтерфейсу використовує роз'єм SFF-8644, але все ще може зустрітися роз'єм SFF-8088. Він так само підтримує чотири SAS каналу.

SAS контролери повністю сумісні з SATA дисками і SATA-кошиками / бекплейнамі - під'єднання зазвичай здійснюється за допомогою кабелів:. Кабель виглядає приблизно ось так:

SFF-8643 -\u003e 4 x SAS / SATA

Зазвичай SAS кошика / об'єднавчі панелі (backplane) зовні мають SATA-роз'єми і в них завжди можна вставляти звичайні SATA диски, тому їх (такі кошики) зазвичай і називають SAS / SATA.

Однак існують реверсивні варіанти такого кабелю для підключення бекплейна з внутрішніми роз'ємами SFF-8087 до SAS-контролера, що має звичайні SATA-роз'єми. Між собою такі кабелі невзаємозамінні.

SAS диски можна підключити до SATA контролера або встановити в SATA кошик / об'єднавчу панель (backplane).

Для підключення SAS дисків до контролера з внутрішніми роз'ємами SFF-8643 або SFF-8087 без використання SAS кошиків необхідно використовувати кабель типу SFF-8643-\u003e SFF-8482 SFF-8087-\u003e SFF-8482 відповідно.

Існуючі версії інтерфейсу SAS (1.0, 2.0, і 3.0) мають сумісність між собою, тобто диск SAS2.0 можна підключати до контролера SAS 3.0 і навпаки. Крім того майбутня версія 24 Gb / s так само буде мати зворотну сумісність.

Типи конекторів SAS

Сьогоднішній файл-сервер або web-сервер ніяк не обходиться без RAID-масиву. Тільки цей режим роботи може забезпечити потрібну пропускну здатність і швидкість роботи з системою зберігання даних. До недавнього часу єдиними жорсткими дисками, придатними для такої роботи були диски з інтерфейсом SCSI і швидкістю обертання шпинделя 10-15 тисяч обертів на хвилину. Для роботи таких дисків був потрібний окремий контролер SCSI. Швидкість передачі даних по SCSI досягала 320 Мб / с, проте інтерфейс SCSI - це звичайний паралельний інтерфейс, з усіма його недоліками.

Зовсім недавно з'явився новий дисковий інтерфейс. Його назвали SAS (Serial Attached SCSI). Бази відпочинку в Челябінську -На сьогоднішній день вже безліч компаній мають в продуктовій лінійці контролери для цього інтерфейсу з підтримкою всіх рівнів масивів RAID. У нашому міні-огляді ми розглянемо двох представників нового сімейства контролерів SAS від Adaptec. Це 8 портова модель ASR-4800SAS і 4 + 4 портова ASR-48300 12C.

Знайомство з SAS

Що ж це за інтерфейс такий - SAS? Насправді SAS - це гібрид SATA і SCSI. Технологія увібрала в себе переваги двох інтерфейсів. Почнемо з того, що SATA - послідовний інтерфейс з двома незалежними каналами читання і запису, а кожен пристрій SATA підключається до окремого каналу. SCSI має дуже ефективний і надійний корпоративний протокол передачі даних, але недоліком є \u200b\u200bпаралельний інтерфейс і загальна шина для декількох пристроїв. Таким чином, SAS вільний від недоліків SCSI, володіє достоїнствами SATA і забезпечує швидкість до 300 Мб / с на один канал. За схемою нижче можна приблизно уявити схему підключення SCSI і SAS.

Двунаправленность інтерфейсу зводить затримки до нуля, оскільки відсутня перемикання каналу на читання / запис.

Цікавою і позитивною особливістю Serial Attached SCSI є те, що цей інтерфейс підтримує диски SAS і SATA, причому одночасно до одного контролера можна підключати диски обох типів. Однак диски з інтерфейсом SAS неможливо підключити до контролера SATA, так як ці диски, по-перше, вимагають спеціальних команд SCSI (протокол Serial SCSI Protocol) при роботі, а по-друге, фізично несумісні з SATA-колодкою. Кожен диск SAS підключається до власного порту, але, тим не менш, існує можливість підключити більше дисків, ніж є портів у контролера. Таку можливість забезпечують SAS-розширювачі (Expander).

Оригінальним відмінністю колодки диска SAS від колодки диска SATA є додатковий порт даних, тобто кожен диск Serial Attached SCSI має два порти SAS зі своїм оригінальним ID, таким чином технологія забезпечує надмірність, що підвищує надійність.

Кабелі SAS трохи відрізняються від SATA, передбачена спеціальна кабельна оснащення, включена в комплект SAS-контролера. Також як і SCSI, жорсткі диски нового стандарту можуть підключатися не тільки всередині корпусу сервера, але і зовні, для чого передбачені спеціальні кабелі та оснащення. Для підключення дисків з «гарячою заміною» використовуються спеціальні плати - backplane, мають всі необхідні роз'єми і порти для підключення дисків і контролерів.

Як правило, плата backplane розташована в спеціальному корпусі з салазочним кріпленням дисків, такий корпус містить в собі RAID-масив і забезпечує його охолодження. У разі виходу з ладу одного або декількох дисків є можливість оперативної заміни несправного HDD, причому заміна несправного накопичувача не зупиняє роботу масиву - досить змінити диск і масив знову повноцінно працює.

Адаптери SAS від Adaptec

Компанія Adaptec представила на ваш суд дві досить цікавих моделі RAID-контролерів. Перша модель є представницею бюджетного класу пристроїв для побудови RAID в недорогих серверах початкового рівня - це восьмипортовий модель ASR-48300 12C. Друга модель набагато більш просунута і призначена для більш серйозних завдань, має на борту вісім каналів SAS - це ASR-4800SAS. Але давайте розглянемо докладніше кожну з них. Почнемо з більш простий і дешевої моделі.

Adaptec ASR-48300 12C

Контролер ASR-48300 12C призначений для побудови невеликих RAID-масивів рівнів 0, 1 і 10. Таким чином, основні типи дискових масивів можна побудувати, використовуючи цей контролер. Поставляється дана модель в звичайній картонній коробці, яка оформлена в синьо-чорних тонах, на лицьовій стороні упаковки є стилізоване зображення контролера, що летить з комп'ютера, що має навіювати думки про високу швидкість роботи комп'ютера з цим пристроєм всередині.

Комплект поставки мінімальний, але включає все необхідне для початку роботи з контролером. У комплекті міститься наступне.

Контролер ASR-48300 12C
. низькопрофільна скоба

. Диск з ПО Storage Manager
. короткий мануал
. Кабель з колодками SFF8484 to 4xSFF8482 і харчування 0.5 м.

Контролер призначений для шини PCI-X 133 МГц, яка має дуже широке поширення в серверних платформах. Адаптер надає вісім портів SAS, однак, тільки чотири порти реалізовано у вигляді роз'єму SFF8484, до якого підключаються диски всередині корпусу, а що залишилися чотири канали виведені назовні у вигляді роз'єму SFF8470, тому частина дисків необхідно підключати зовні - це може бути зовнішній бокс з чотирма дисками всередині.

При використанні експандера, контролер має можливість працювати з 128-ю дисками в масиві. Крім того, контролер здатний працювати в 64-бітному оточенні і підтримує відповідні команди. Карта може бути встановлена \u200b\u200bв низькопрофільний сервер висотою 2U, якщо поставити йде в комплекті низькопрофільну заглушку. Загальні характеристики плати такі.

переваги

Економічний контролер Serial Attached SCSI з технологією Adaptec HostRAID ™ для високопродуктивного зберігання важливих даних.

потреби клієнта

Ідеально для підтримки додатків серверів початкового і середнього рівня і робочих груп, яким потрібно високопродуктивне зберігання даних і надійний захист, наприклад, додатків резервного копіювання, веб-контенту, електронної пошти, баз даних і спільного доступу до даних.

Системне оточення - Сервери відділів і робочих груп

Тип інтерфейсу системної шини - PCI-X 64 bit / 133 МГц, PCI 33/66

Зовнішні з'єднання - Один x 4 Infiniband / Serial Attached SCSI (SFF8470)

Внутрішні з'єднання - Один 32 pin x 4 Serial Attached SCSI (SFF8484)

Системні вимоги - Сервери типу IA-32, AMD-32, EM64T і AMD-64

Роз'єм 32/64-bit PCI 2.2 або 32/64-bit PCI-X 133

Гарантія - 3 роки

Рівні RAID levels - Adaptec HostRAID 0, 1, і 10

Ключові характерісткі RAID

• Підтримка завантажувальних масивів
• автоматичне відновлення
• Управління за допомогою ПО Adaptec Storage Manager
• фонова ініціалізація

Розміри плати - 6.35см x 17.78см (включаючи зовнішній роз'єм)

Робоча температура - від 0 ° до 50 ° C

Потужність, що розсіюється - 4 Вт

Mean Time Before Failure (MTBF - напрацювання на відмову) - 1692573 ч при 40 ºC.

Adaptec ASR-4800SAS

Адаптер під номером 4800 більш просунутий функціонально. Ця модель позиціонується для більш швидкісних серверів і робочих станцій. Тут реалізована підтримка практично будь-яких масивів RAID - масиви які є у молодшої моделі, а також можна конфігурувати масиви RAID 5, 50, JBOD і Adaptec Advanced Data Protection Suite з RAID 1E, 5EE, 6, 60, Copyback Hot Spare з опцією Snapshot Backup для серверів в баштовому корпусі і серверів високої щільності для монтажу в стійку.

Модель поставляється в аналогічній молодшої моделі упаковці з оформленням в тому ж «авіаційному» стилі.

У комплекті представлено майже те ж саме, що і у молодшої карти.

Контролер ASR-4800SAS
. повнорозмірна скоба
. Диск з драйвером і повним керівництвом
. Диск з ПО Storage Manager
. короткий мануал
. Два кабелі з колодками SFF8484 to 4xSFF8482 і харчування по 1 м.

Контролер має підтримку шини PCI-X 133 МГц, але є і модель 4805, аналогічна функціонально, але використовує шину PCI-E x8. Адаптер надає ті ж вісім портів SAS, проте реалізовані всі вісім портів в якості внутрішніх, відповідно, плата має два роз'єми SFF8484 (під два комплектних кабелю), проте є і зовнішній роз'єм типу SFF8470 на чотири канали, при підключенні до якого один з внутрішніх роз'ємів відключається.

Точно так же, як і в молодшому пристрої, кількість дисків розширюваність до 128 за допомогою експандерів. Але основною відмінністю моделі ASR-4800SAS від ASR-48300 12C є наявність на першій 128 Мб DDR2 ECC пам'яті, використовуваної в якості кеша, що прискорює роботу з дисковим масивом і оптимізує роботу з дрібними файлами. Доступний опціональний батарейний модуль для збереження даних в кеші при відключенні харчування. Загальні характеристики плати такі.

Переваги - Підключення високопродуктивних пристроїв зберігання і захисту даних для серверів і робочих станцій

Потреби клієнта - Ідеально для підтримки додатків серверів і робочих груп, яким потрібен постійний високий рівень швидкості операцій читання-запису, наприклад, додатків потокового відео, веб-контенту, відео за запитом, фіксованого контенту і зберігання довідкових даних.

• Системне оточення - Сервери відділів і робочих груп і робочі станції
• Тип інтерфейсу системної шини - Хост-інтерфейс PCI-X 64-bit / 133 MHz
• Зовнішні з'єднання - Роз'єм SAS один x4
• Внутрішні з'єднання - Роз'єми SAS два x4
• Швидкість передачі даних - До 3 ГБ / с на порт
• Системні вимоги -Архітектура Intel або AMD з вільним роз'ємом 64-bit 3.3v PCI-X
• Підтримує архітектури EM64T і AMD64
• Гарантія - 3 роки
• Стандартні рівні RAID - RAID 0, 1, 10, 5, 50
• Стандатние можливості RAID - Гарячий резерв, міграція рівнів RAID, Online Capacity Expansion, Optimized Disk, Utilization, S.M.A.R.T і підтримка SNMP, а також можливості з Adaptec Advanced

• Data Protection Suite включають:

1. Hot Space (RAID 5EE)
2. Striped Mirror (RAID 1E)
3. Dual Drive Failure Protection (RAID 6)
4. Copyback Hot Spare

• Додаткові можливості RAID - Snapshot Backup
• Розміри плати - 24см x 11.5см
• Робоча температура - від 0 до 55 градусів C
• Mean Time Before Failure (MTBF - напрацювання на відмову) - 931 924 ч при 40 ºC.

тестування

Тестування адаптерів - справа непроста. Тим більше що великого досвіду роботи з SAS нами ще не придбано. Тому вирішено було провести тестування швидкості роботи жорстких дисків з інтерфейсом SAS в порівнянні з дисками SATA. Для цього ми використовували наявні у нас диски SAS 73 Гб Hitachi HUS151473VLS300 на 15000rpm з 16Mb буфером і WD 150Гб SATA150 Raptor WD1500ADFD на 10000rpm з 16Mb буфером. Ми провели пряме порівняння двох швидких дисків, але мають різні інтерфейси на двох контролерах. Тестувалися диски в програмі HDTach, в якій були отримані наступні результати.

Adaptec ASR-48300 12C

Adaptec ASR-4800SAS

Логічно було припустити, що жорсткий диск з інтерфейсом SAS виявиться швидше, ніж SATA, хоча для оцінки продуктивності ми взяли найшвидший диск WD Raptor, який цілком може посперечатися за продуктивністю з багатьма 15000 об / хв SCSI дисками. Що стосується відмінності між контролерами - то вони мінімальні. Звичайно, старша модель надає більше функцій, але необхідність у них виникає тільки в корпоративному секторі застосування таких пристроїв. До таких корпоративних функцій відносяться особливі рівні RAID і додаткова КЕШ-пам'ять на борту контролера. Звичайний домашній користувач навряд чи буде встановлювати в домашньому, нехай і по самий дах модифікованому ПК 8 жорстких дисків, зібраних в RAID-масив з надмірністю - швидше буде віддано перевагу задіяти чотири диска під масив рівня 0 + 1, а решта будуть використовуватися для даних. Ось тут-то якраз і стане в нагоді модель ASR-48300 12C. До того ж, деякі оверклокерські материнські плати мають інтерфейс PCI-X. Перевагою моделі для домашнього застосування як раз є відносно доступна ціна (в порівнянні з вісьмома жорсткими дисками) в $ 350 і простота застосування (вставив і підключив). Крім того, особливий інтерес представляють жорсткі диски 10-тисячники формату 2.5 дюйма. Ці вінчестери мають менше енергоспоживання, менше гріються і менше займають місця.

висновки

Це незвичайний огляд для нашого сайту і він більше спрямований на вивчення інтересу з боку користувачів до оглядам спеціального апаратного забезпечення. Сьогодні були розглянуті не тільки два незвичних RAID-контролера від відомого і встиг себе зарекомендувати виробника серверного обладнання - компанії Adaptec. Це ще й спроба написання першої аналітичної статті на нашому сайті.

Що стосується наших сьогоднішніх героїв, SAS контролерів Adaptec можна сказати, що чергові два продукти компанії вдалися. Молодша модель, ASR-48300 вартістю $ 350, цілком може прижитися в продуктивному домашньому комп'ютері і вже тим більше в сервері (або комп'ютері, що виконує його роль) початкового рівня. Для цього модель має всі передумови: зручне ПО Adaptec Storage Manager, підтримку від 8 до 128 дисків, роботу з основними рівнями RAID.

Старша модель призначена для серйозних завдань і, звичайно, може використовуватися в недорогих серверах, але тільки в тому випадку, якщо є особливі вимоги до швидкості роботи з дрібними файлами і надійності зберігання інформації, адже карта підтримує всі рівні RAID-масивів корпоративного класу з надмірністю і має 128 Мб швидкої КЕШ-пам'яті стандарту DDR2 з Error Correction Control (ECC). При цьому вартість контролера становить $ 950.

ASR-48300 12C

плюси моделі

• доступність
• Підтримка від 8 до 128 дисків
• Простота використання
• Стабільна робота
• репутація Adaptec

• Слот PCI-X - для більшої популярності не вистачає тільки підтримки більш поширеного PCI-E

ASR-4800SAS

• Стабільна робота
• репутація виробника
• хороша функціональність
• Доступність апгрейда (програмного і апаратного)
• Доступність версії з PCI-E
• Простота використання
• Підтримка від 8 до 128 дисків
• 8 внутрішніх каналів SAS

• Не дуже підходить для бюджетного та домашнього секторів застосування.

Коротко про сучасних RAID-контролери

В даний час RAID-контролери як окреме рішення орієнтовані виключно на спеціалізований серверний сегмент ринку. Дійсно, всі сучасні материнські плати для призначених для користувача ПК (НЕ серверні плати) мають інтегровані програмно-апаратні SATA RAID-контролери, можливостей яких з надлишком вистачає для користувачів ПК. Правда, потрібно мати на увазі, що ці контролери орієнтовані виключно на використання операційної системи Windows. В операційних системах сімейства Linux RAID-масиви створюються програмним методом, і всі розрахунки переносяться з RAID-контролера на центральний процесор.

У серверах традиційно застосовуються або програмно-апаратні, або чисто апаратні RAID-контролери. Апаратний RAID-контролер дозволяє створювати і обслуговувати RAID-масив без участі операційної системи і центрального процесора. Такі RAID-масиви бачаться операційною системою як один диск (SCSI-диск). При цьому ніякого спеціалізованого драйвера не потрібно - використовується стандартний (входить до складу операційної системи) драйвер SCSI-диска. В цьому плані апаратні контролери є переносних незалежними, а настройка RAID-масиву проводиться через BIOS контролера. Апаратний RAID-контролер НЕ задіє центральний процесор при розрахунку всіх контрольних сум і т.п., оскільки для розрахунків застосовує свій спеціалізований процесор і оперативну пам'ять.

Программноаппаратние контролери вимагають обов'язкової наявності спеціалізованого драйвера, який підміняє собою стандартний драйвер SCSI-диска. Крім того, програмно-апаратні контролери комплектуються утилітами управління. В цьому плані програмно-аппартного контролери прив'язані до конкретної операційної системи. Всі необхідні розрахунки в цьому випадку також виконуються процесором самого RAID-контролера, але використання програмного драйвера і утиліти керування дозволяє управляти контролером через операційну систему, а не тільки через BIOS контролера.

З огляду на той факт, що на зміну серверним SCSI-дискам вже прийшли SAS-диски, все сучасні серверні RAID-контролери орієнтовані на підтримку або SAS-, або SATA-дисків, які також застосовуються в серверах.

У минулому році на ринку почали з'являтися диски з новим інтерфейсом SATA 3 (SATA 6 Гбіт / с), який став поступово витісняти інтерфейс SATA 2 (SATA 3Гбіт / с). Ну а на зміну дискам з інтерфейсом SAS (3 Гбіт / с) прийшли диски з інтерфейсом SAS 2.0 (6 Гбіт / с). Природно, новий стандарт SAS 2.0 повністю сумісний зі старим стандартом.

Відповідно з'явилися RAID-контролери з підтримкою стандарту SAS 2.0. Здавалося б, який сенс переходити до стандарту SAS 2.0, якщо навіть самі швидкісні SAS-диски мають швидкість читання і запису даних не вище 200 Мбайт / с і для них цілком достатньо пропускної спроможності протоколу SAS (3 Гбіт / с або 300 Мбайт / с) ?

Дійсно, коли кожен диск підключається до окремого порту на RAID-контролері, пропускної здатності 3 Гбіт / с (що в теорії становить 300 Мбайт / с) цілком достатньо. Однак до кожного порту RAID-контролера можуть підключатися не тільки окремі диски, але і дискові масиви (дискові кошики). У цьому випадку один SAS-канал ділять між собою відразу кілька накопичувачів, і пропускної здатності в 3 Гбіт / с буде вже недостатньо. Ну і, крім того, потрібно враховувати наявність SSD-дисків, швидкість читання і запису яких вже подолала планку в 300 Мбайт / с. Наприклад, в новому диску Intel SSD 510 швидкість послідовного читання складає до 500 Мбайт / с, а швидкість послідовного запису - до 315 Мбайт / с.

Після короткого знайомства з поточною ситуацією на ринку серверних RAID-контролерів давайте розглянемо характеристики контролера LSI 3ware SAS 9750-8i.

Характеристики RAID-контролера 3ware SAS 9750-8i

Даний RAID-контролер виконаний на базі спеціалізованого XOR-процесора LSI SAS2108 з тактовою частотою 800 МГц і архітектурою PowerPC. Цей процесор використовує 512 Мбайт оперативної пам'яті DDRII 800 МГц з корекцією помилок (ECC).

Контролер LSI 3ware SAS 9750-8i сумісний з SATA- і SAS-дисками (підтримуються як HDD-, так і SSD-диски) і дозволяє підключати до 96 пристроїв за допомогою SAS-експандерів. Важливо, що даний контролер підтримує диски з інтерфейсом SATA 600 Мбайт / с (SATA III) і SAS 2.

Для підключення дисків на контролері передбачено вісім портів, які фізично об'єднані в два роз'єми Mini-SAS SFF-8087 (по чотири порти в кожному роз'ємі). Тобто якщо диски підключати безпосередньо до портів, то всього можна підключити до контролера вісім дисків, а при підключенні до кожного порту дискових кошиків загальний обсяг дисків може бути збільшений до 96. Кожен з восьми портів контролера має пропускну здатність 6 Гбіт / с, що відповідає стандартам SAS 2 і SATA III.

Природно, при підключенні дисків або дискових кошиків до цього контролеру будуть потрібні спеціалізовані кабелі, які c одного кінця мають внутрішній роз'єм Mini-SAS SFF-8087, а на іншому кінці - роз'єм, який залежить від того, що саме підключається до контролера. Наприклад, при підключенні до контролера безпосередньо SAS-дисків необхідно використовувати кабель, у якого з одного боку роз'єм Mini-SAS SFF-8087, а з іншого - чотири роз'єми SFF 8484, які дозволяють безпосередньо підключати SAS-диски. Відзначимо, що самі кабелі не входять до комплекту поставки і купуються окремо.

У контролера LSI 3ware SAS 9750-8i є інтерфейс PCI Express 2.0 x8, що забезпечує пропускну здатність 64 Гбіт / с (по 32 Гбіт / с в кожному напрямі). Зрозуміло, що такий пропускної здатності цілком достатньо для повністю завантажених восьми портів SAS з пропускною спроможністю 6 Гбіт / с кожен. Також відзначимо, що на контролері є спеціальний роз'єм, в який опціонально можна підключити батарею резервного живлення LSIiBBU07.

Важливо, що даний контролер вимагає інсталяції драйвера, тобто є програмно-апаратним RAID-контролером. При цьому підтримуються такі операційні системи, як Windows Vista, Windows Server 2008, Windows Server 2003 x64, Windows 7, Windows 2003 Server, MAC OS X, LinuxFedora Core 11, Red Hat Enterprise Linux 5.4, OpenSuSE 11.1, SuSE Linux Enterprise Server (SLES ) 11, OpenSolaris 2009.06, VMware ESX / ESXi 4.0 / 4.0 update-1 і інші системи сімейства Linux. У комплект поставки також входить програмне забезпечення 3ware Disk Manager 2, яке дозволяє управляти RAID-масивами через операційну систему.

Контролер LSI 3ware SAS 9750-8i підтримує стандартні типи RAID-масивів: RAID 0, 1, 5, 6, 10 і 50. Мабуть, єдиний тип масиву, який не підтримується, - RAID 60. Це пов'язано з тим, що даний контролер здатний створити масив RAID 6 тільки на п'яти дисках, що підключаються безпосередньо до кожного порту контролера (теоретично RAID 6 може бути створений на чотирьох дисках). Відповідно для масиву RAID 60 даного контролера потрібно мінімум десять дисків, яких просто немає.

Зрозуміло, що підтримка масиву RAID 1 неактуальна для такого контролера, оскільки даний тип масиву створюється тільки на двох дисках, а використовувати такий контролер тільки для двох дисків нелогічно і вкрай марнотратно. А ось підтримка масивів RAID 0, 5, 6, 10 і 50 вельми актуальна. Хоча, можливо, з масивом RAID 0 ми і поспішили. Все ж цей масив не володіє надмірністю, а відповідно не забезпечує надійності зберігання даних, тому в серверах він використовується вкрай рідко. Однак теоретично цей масив є найшвидшим за швидкістю читання і запису даних. Втім, давайте згадаємо, ніж різні типи RAID-масивів відрізняються один від одного і що вони собою являють.

Рівні RAID-масивів

Термін «RAID-масив» з'явився в 1987 році, коли американські дослідники Паттерсон, Гібсон і Катц з Каліфорнійського університету в Берклі в своїй статті «Надмірна масив недорогих дисків» ( "A case for redundant arrays of inexpensive discs, RAID") описали, яким чином можна об'єднати кілька дешевих жорстких дисків в один логічний пристрій так, щоб в результаті підвищувалися ємність і швидкодію системи, а відмова окремих дисків не приводив до відмови всієї системи. З моменту виходу цієї статті пройшло вже майже 25 років, але технологія побудови RAID-масивів не втратила актуальності і сьогодні. Єдине, що змінилося з тих пір, - це розшифровка абревіатури RAID. Справа в тому, що спочатку RAID-масиви будувалися зовсім не на дешевих дисках, тому слово Inexpensive ( «недорогі») поміняли на Independent ( «незалежні»), що більше відповідало дійсності.

Відмовостійкість в RAID-масивах досягається за рахунок надмірності, тобто частина ємності дискового простору відводиться для службових цілей, стаючи недоступною для користувача.

Підвищення продуктивності дискової підсистеми забезпечується одночасною роботою декількох дисків, і в цьому сенсі чим більше дисків в масиві (до певної межі), тим краще.

Спільну роботу дисків в масиві можна організувати за допомогою яких паралельного, або незалежного доступу. При паралельному доступі дисковий простір розбивається на блоки (смужки) для запису даних. Аналогічно інформація, що підлягає запису на диск, розбивається на такі ж блоки. При записи окремі блоки записуються на різні диски, причому запис декількох блоків на різні диски відбувається одночасно, що призводить до збільшення продуктивності в операціях запису. Потрібна інформація також зчитується окремими блоками одночасно з декількох дисків, що теж сприяє зростанню продуктивності пропорційно кількості дисків в масиві.

Слід зазначити, що модель з паралельним доступом реалізується тільки за умови, що розмір запиту на запис даних більше розміру самого блоку. В іншому випадку здійснювати паралельний запис декількох блоків практично неможливо. Уявімо ситуацію, коли розмір окремого блоку становить 8 Кбайт, а розмір запиту на запис даних - 64 Кбайт. В цьому випадку вихідна інформація нарізається на вісім блоків по 8 Кбайт кожен. Якщо є масив з чотирьох дисків, то одночасно можна записати чотири блоки, або 32 Кбайт, за один раз. Очевидно, що в розглянутому прикладі швидкість запису і швидкість зчитування виявляться в чотири рази вище, ніж при використанні одного диска. Це справедливо лише для ідеальної ситуації, однак розмір запиту далеко не завжди кратний розміру блоку і кількості дисків в масиві.

Якщо ж розмір записуваних даних менше розміру блоку, то реалізується принципово інша модель - незалежний доступ. Більш того, ця модель може використовуватися і в тому випадку, коли розмір записуваних даних більше розміру одного блоку. При незалежному доступі всі дані окремого запиту записуються на окремий диск, тобто ситуація ідентична роботі з одним диском. Перевага моделі з незалежним доступом в тому, що при одночасному надходженні декількох запитів на запис (читання) всі вони будуть виконуватися на окремих дисках незалежно один від одного. Подібна ситуація є типовою, наприклад, для серверів.

У відповідності з різними типами доступу існують і різні типи RAID-масивів, які прийнято характеризувати рівнями RAID. Крім типу доступу, рівні RAID розрізняються способом розміщення та формування надлишкової інформації. Надлишкова інформація може або розміщуватися на спеціально виділеному диску, або розподілятися між усіма дисками.

В даний час існує декілька RAID-рівнів, які широко використовуються, - це RAID 0, RAID 1, RAID 5, RAID 6, RAID 10, RAID 50 і RAID 60. Раніше також застосовувалися рівні RAID 2, RAID 3 і RAID 4, однак в даний час ці рівні RAID не використовуються і сучасні RAID-контролери їх не підтримують. Відзначимо, що всі сучасні RAID-контролери підтримують також функцію JBOD (Just a Bench Of Disks). В даному випадку мова йде не про RAID-масиві, а просто про підключення окремих дисків до RAID-контролеру.

RAID 0

RAID 0, або страйпінг (striping), - це, строго кажучи, не RAID-масив, оскільки такий масив не має надмірності і не забезпечує надійності зберігання даних. Однак історично його теж називають RAID-масивом. Масив RAID 0 (рис. 1) може будуватися на двох і більше дисках і використовується в тому випадку, коли необхідно забезпечити високу продуктивність дискової підсистеми, а надійність зберігання даних некритична. При створенні масиву RAID 0 інформація розбивається на блоки (ці блоки називають Страйп (stripe)), які одночасно записуються на окремі диски, тобто створюється система з паралельним доступом (якщо, звичайно, дозволяє розмір блоку). Завдяки можливості одночасного вводавивода з декількох дисків, RAID 0 забезпечує максимальну швидкість передачі даних і максимальну ефективність використання дискового простору, оскільки не потрібно місця для зберігання контрольних сум. Реалізація цього рівня дуже проста. В основному RAID 0 застосовується в тих областях, де потрібна швидка передача великого обсягу даних.

Рис. 1. Масив RAID 0

Теоретично приріст швидкості читання і запису повинен бути кратний кількості дисків в масиві.

Надійність масиву RAID 0 свідомо нижче надійності кожного з дисків окремо і знижується зі збільшенням кількості вхідних в масив дисків, так як відмова будь-якого з них призводить до непрацездатності всього масиву. Якщо час напрацювання на відмову кожного диска складає MTTF disk, то час напрацювання на відмову масиву RAID 0, що складається з n дисків, так само:

MTTF RAID0 \u003d MTTD disk / n.

Якщо позначити ймовірність виходу з ладу за певний проміжок часу одного диска через p, То для масиву RAID 0 з n дисків ймовірність того, що хоча б один диск вийде з ладу (ймовірність падіння масиву), складе:

Р (падіння масиву) \u003d 1 - (1 - р) n.

Наприклад, якщо ймовірність виходу з ладу одного диска протягом трьох років експлуатації становить 5%, то ймовірність падіння масиву RAID 0 з двох дисків дорівнює вже 9,75%, а з восьми дисків - 33,7%.

RAID 1

Масив RAID 1 (рис. 2), який також називають дзеркалом (mirror), - це масив з двох дисків зі 100-відсотковою надмірністю. Тобто дані повністю дублюються (Віддзеркалюються), за рахунок чого досягається дуже високий рівень надійності (як, втім, і вартості). Відзначимо, що для реалізації RAID 1 не потрібно попередньо розбивати диски і дані на блоки. У найпростішому випадку два диска містять однакову інформацію і є одним логічним диском. При виході з ладу одного диска його функції виконує інший (що абсолютно прозоро для користувача). Відновлення масиву виконується простим копіюванням. Крім того, теоретично в масиві RAID 1 повинна подвоюватися швидкість зчитування інформації, так як ця операція може виконуватися одночасно з двох дисків. Подібна схема зберігання інформації використовується в основному в тих випадках, коли ціна безпеки даних набагато перевищує номінальну вартість реалізації системи зберігання.

Рис. 2. Масив RAID 1

Якщо, як в попередньому випадку, позначити ймовірність виходу з ладу за певний проміжок часу одного диска через p, То для масиву RAID 1 ймовірність того, що обидва диска вийдуть з ладу одночасно (ймовірність падіння масиву), складе:

Р (падіння масиву) \u003d р 2.

Наприклад, якщо ймовірність виходу з ладу одного диска протягом трьох років експлуатації становить 5%, то ймовірність одночасного виходу з ладу двох дисків дорівнює вже 0,25%.

RAID 5

Масив RAID 5 (рис. 3) - це відмовостійкий дисковий масив з розподіленим зберіганням контрольних сум. При записи потік даних розбивається на блоки (страйпи) на рівні байтів, які одночасно записуються на всі диски масиву в циклічному порядку.

Рис. 3. Масив RAID 5

Припустимо, що масив містить n дисків, а розмір Страйп - d. Для кожної порції з n-1 Страйп розраховується контрольна сума p.

Cтрайп d 1 записується на перший диск, страйп d 2 - на другий і так далі аж до Страйп d n-1, який записується на (n-1) -й диск. Далі на n-й диск записується контрольна сума p n, І процес циклічно повторюється з першого диска, на який записується страйп d n.

Процес запису ( n-1) Страйп і їх контрольної суми проводиться одночасно на всі n дисків.

Для обчислення контрольної суми використовується поразрядное операція «виключає АБО» (XOR), що застосовується до записуваним блокам даних. Так, якщо є n жорстких дисків і d - блок даних (страйп), то контрольна сума розраховується за такою формулою:

p n \u003d d 1⊕ d 2 ⊕ ... ⊕ d n-1.

У разі виходу з ладу будь-якого диска дані на ньому можна відновити за контрольними даними і за даними, які залишилися на справних дисках. Дійсно, скориставшись тотожністю (a⊕ b) A b \u003d a і a⊕ a = 0 , Отримаємо, що:

p n⊕ (d k⊕ p n) \u003d d l⊕ d n⊕ ...⊕ ...⊕ d n-l⊕ (d k⊕ p n).

d k \u003d d 1⊕ d n⊕ ...⊕ d k-1⊕ d k + 1⊕ ...⊕ p n.

Таким чином, якщо з ладу вийшов диск з блоком d k, То його можна відновити за значенням інших блоків і контрольної суми.

У разі RAID 5 всі диски масиву повинні мати однаковий розмір, проте загальна ємність дискової підсистеми, доступною для запису, стає менше рівно на один диск. Наприклад, якщо п'ять дисків мають розмір 100 Гбайт, то фактичний розмір масиву становить 400 Гбайт, оскільки 100 Гбайт відводиться на контрольну інформацію.

Масив RAID 5 може бути побудований на трьох і більше жорстких дисках. Зі збільшенням кількості жорстких дисків в масиві його надмірність зменшується. Відзначимо також, що масив RAID 5 може бути відновлений при виході з ладу тільки одного диска. Якщо ж одночасно виходять з ладу два диска (або якщо другий диск виходить з ладу в процесі відновлення масиву), то масив не підлягає відновленню.

RAID 6

Масив RAID 5, як було показано, може бути відновлений при виході з ладу одного диска. Однак іноді потрібно забезпечити більш високий рівень надійності, ніж в масиві RAID 5. У цьому випадку можна використовувати масив RAID 6 (рис. 4), який дозволяє відновити масив навіть при виході з ладу одночасно двох дисків.

Рис. 4. Масив RAID 6

Масив RAID 6 схожий на RAID 5, але в ньому застосовується не одна, а дві контрольні суми, які циклічно розподіляються по дискам. Перша контрольна сума p розраховується за тим же алгоритмом, що і в масиві RAID 5, тобто це операція XOR між блоками даних, записуваними на різні диски:

p n \u003d d 1⊕ d2⊕ ...⊕ d n-1.

Друга контрольна сума розраховується вже за іншим алгоритмом. Не вдаючись в математичні подробиці, скажемо, що це також операція XOR між блоками даних, але кожен блок даних попередньо множиться на поліноміальний коефіцієнт:

q n \u003d g 1 d 1⊕ g 2 d 2⊕ ...⊕ g n-1 d n-1.

Відповідно під контрольні суми виділяється ємність двох дисків в масиві. Теоретично масив RAID 6 може бути створений на чотирьох і більше дисках, проте в багатьох контролерах він може бути створений мінімум на п'яти дисках.

Потрібно мати на увазі, що продуктивність масиву RAID 6, як правило, на 10-15% нижче продуктивності масиву RAID 5 (при рівній кількості дисків), що викликано великим обсягом розрахунків, виконуваних контролером (необхідно розраховувати другу контрольну суму, а також зчитувати і перезаписувати більше дискових блоків під час запису кожного блоку).

RAID 10

Масив RAID 10 (рис. 5) являє собою поєднання рівнів 0 і 1. Мінімально для цього рівня потрібні чотири диска. У масиві RAID 10 з чотирьох дисків вони попарно об'єднуються в масиви RAID 1, а обидва ці масиву як логічні диски об'єднуються в масив RAID 0. Можливий і інший підхід: спочатку диски об'єднуються в масиви RAID 0, а потім логічні диски на основі цих масивів - в масив RAID 1.

Рис. 5. Масив RAID 10

RAID 50

Масив RAID 50 являє собою поєднання рівнів 0 і 5 (рис. 6). Мінімально для цього рівня потрібно шість дисків. У масиві RAID 50 спочатку створюються два масиви RAID 5 (мінімум по три диска в кожному), які потім як логічні диски об'єднуються в масив RAID 0.

Рис. 6. Масив RAID 50

Методика тестування контролера LSI 3ware SAS 9750-8i

Для тестування RAID-контролера LSI 3ware SAS 9750-8i ми використовували спеціалізований тестовий пакет IOmeter 1.1.0 (версія від 2010.12.02). Тестовий стенд мав наступну конфігурацію:

• процесор - Intel Core i7-990 (Gulftown);
• системна плата - GIGABYTE GA-EX58-UD4;
• пам'ять - DDR3-1066 (3 Гбайт, трьохканальний режим роботи);
• системний диск - WD Caviar SE16 WD3200AAKS;
• відеокарта - GIGABYTE GeForce GTX480 SOC;
• RAID-контролер - LSI 3ware SAS 9750-8i;
• SAS-диски, що підключаються до RAID-контролеру, - Seagate Cheetah 15K.7 ST3300657SS.

Тестування проводилося під управлінням операційної системи Microsoft Windows 7 Ultimate (32-bit).

Ми використовували Windows-драйвер RAID-контролера версії 5.12.00.007, а також оновили прошивку контролера до версії 5.12.00.007.

Системний диск підключався до SATA, реалізованому через контролер, інтегрований в південний міст чіпсета Intel X58, a SAS-диски підключалися прямо до портів RAID-контролера з використанням двох кабелів Mini-SAS SFF-8087 -\u003e 4 SAS.

RAID-контролер встановлювався в роз'єм PCI Express x8 на системній платі.

Контролер тестувався з наступними RAID-масивами: RAID 0, RAID 1, RAID 5, RAID 6, RAID 10 і RAID 50. Кількість дисків, що об'єднуються в RAID-масив, варіювалося для кожного типу масиву від мінімального значення до восьми.

Розмір Страйп на всіх RAID-масивах не змінювався і становив 256 Кбайт.

Нагадаємо, що пакет IOmeter дозволяє працювати як з дисками, на яких створено логічний розділ, так і з дисками без логічного розділу. У разі якщо проводиться тестування диска без створеного на ньому логічного розділу, то IOmeter працює на рівні логічних блоків даних, тобто замість операційної системи передає команди контролеру на запис або читання LBA-блоків.

Якщо на диску створено логічний розділ, то спочатку утиліта IOmeter створює на диску файл, який за замовчуванням займає весь логічний розділ (в принципі, розмір цього файлу можна змінювати, вказавши його в кількості 512 байтних секторів), і далі вже працює з цим файлом, тобто прочитує або записує (перезаписує) окремі LBA-блоки в межах цього файлу. Але знову-таки IOmeter працює в обхід операційної системи, тобто безпосередньо посилає запити контролера на читання / запис даних.

Взагалі, при тестуванні HDD-дисків, як показує практика, різниці між результатами тестування диска зі створеним логічним розділом і без нього практично немає. У той же час ми вважаємо, що більш коректно проводити тестування без створеного логічного розділу, оскільки в такому випадку результати тестів не залежать від файлової системи (NTFA, FAT, ext і т.д.). Саме тому ми виконували тестування без створення логічних розділів.

Крім того, утиліта IOmeter дозволяє задавати розмір блоку запиту (Transfer Request Size) на запис / читання даних, а тест можна проводити як для послідовних (Sequential) читання і запису, коли LBA-блоки зчитуються і записуються послідовно один за одним, так і для випадкових (Random), коли LBA-блоки зчитуються і записуються в довільному порядку. При формуванні сценарію навантаження можна задавати час тесту, процентне співвідношення між послідовними і випадковими операціями (Percent Random / Sequential Distribution), а також процентне співвідношення між операціями читання і запису (Percent Read / Write Distribution). Крім того, утиліта IOmeter дозволяє автоматизувати весь процес тестування і зберігає всі результати в CSV-файл, який потім легко експортується в таблицю Excel.

Ще одна настройка, яку дозволяє робити утиліта IOmeter, - це так зване вирівнювання блоків запитів на передачу даних (Align I / Os on) по межах секторів жорсткого диска. За замовчуванням IOmeter вирівнює блоки запитів по межах 512-байтних секторів диска, проте можна задати і довільне вирівнювання. Власне, більшість жорстких дисків мають розмір сектора 512 байт і тільки останнім часом стали з'являтися диски з розміром сектора 4 Кбайт. Нагадаємо, що в HDD-дисках сектор - це мінімальний адресується розмір даних, який можна записати або вважати з диска.

При проведенні тестування необхідно встановлювати вирівнювання блоків запитів на передачу даних за розміром сектора диска. Оскільки в дисках Seagate Cheetah 15K.7 ST3300657SS розмір сектора становить 512 байт, ми використовували вирівнювання по межах 512-байтних секторів.

За допомогою тестового пакета IOmeter ми вимірювали швидкість послідовного читання і запису, а також швидкість випадкового читання і запису створеного RAID-масиву. Розміри блоків переданих даних становили 512 байт, 1, 2, 4, 8, 16, 32, 64, 128, 256, 512 і 1024 Кбайт.

У перерахованих сценаріях навантаження час тесту з кожним запитом на передачу блоку даних становило 5 хв. Також відзначимо, що у всіх перерахованих тестах ми задавали в налаштуваннях IOmeter глибину черзі завдання (# of Outstanding I / Os) дорівнює 4, що типово для призначених для користувача додатків.

Результати тестування

Проаналізувавши результати тестування, ми були здивовані роботою RAID-контролера LSI 3ware SAS 9750-8i. Причому настільки, що стали переглядати наші скрипти на предмет виявлення в них помилки, а потім багаторазово повторили тестування з іншими настройками RAID-контролера. Ми міняли розмір Страйп і режим роботи кеша RAID-контролера. Це, звичайно ж, відбивалося на результатах, однак не змінювало загального характеру залежності швидкості передачі даних від розміру блоку даних. А цю залежність ми якраз і не змогли пояснити. Робота даного контролера представляється нам абсолютно нелогічною. Поперше, результати є нестабільними, тобто при кожному фіксованому розмірі блоку даних швидкість періодично змінюється і усереднений результат має велику похибку. Відзначимо, що зазвичай результати тестування дисків і контролерів з використанням утиліти IOmeter стабільні і розрізняються досить незначно.

Подруге, при збільшенні розміру блоку швидкість передачі даних повинна зростати або залишатися незмінною в режимі насичення (коли швидкість досягає свого максимального значення). Однак в разі контролера LSI 3ware SAS 9750-8i при деяких розмірах блоків спостерігається різке падіння швидкості передачі даних. Крім того, для нас так і залишилося загадкою, чому при одному і тому ж кількості дисків для масивів RAID 5 і RAID 6 швидкість запису перевищує швидкість читання. Одним словом, пояснити роботу контролера LSI 3ware SAS 9750-8i ми не можемо - залишається лише констатувати факти.

Результати тестування можна класифікувати по-різному. Наприклад, за сценаріями завантаження, коли для кожного типу завантаження наводяться результати для всіх можливих RAID-масивів з різною кількістю підключених дисків, або за типами RAID-масивів, коли для кожного типу RAID-масиву вказуються результати з різною кількістю дисків в сценаріях послідовного читання , послідовного запису, випадкового читання і випадкового запису. Також можна класифікувати результати за кількістю дисків в масиві, коли для кожного кількості підключених до контролера дисків наводяться результати для всіх можливих (при даній кількості дисків) RAID-масивів в сценаріях послідовного читання і послідовного запису, випадкового читання і випадкового запису.

Ми вирішили класифікувати результати за типами масивів, оскільки, на наш погляд, не дивлячись на досить велику кількість графіків, таке їхнє уявлення більш наочно.

RAID 0

Масив RAID 0 можна створити з кількістю дисків від двох до восьми. Результати тестування для масиву RAID 0 представлені на рис. 7-15.

Зрозуміло, що найбільш висока швидкість послідовного читання і запису в масиві RAID 0 досягається при восьми дисках. Варто звернути увагу на те, що при восьми і семи дисках в масиві RAID 0 швидкості послідовного читання і запису практично збігаються один з одним і при меншій кількості дисків швидкість послідовного запису стає вищою за швидкість читання.

Не можна не відзначити і характерні провали в швидкості послідовного читання і запису при певних розмірах блоків. Наприклад, при восьми і шести дисках в масиві такі провали спостерігаються при розмірі блоків даних 1 і 64 Кбайт, а при семи дисках - при розмірі 1, 2 і 128 Кбайт. Аналогічні провали, але при інших розмірах блоків даних є і при чотирьох, трьох і двох дисках в масиві.

За швидкістю послідовного читання і запису (як усередненої по всім розмірам блоків характеристиці) масив RAID 0 перевершує всі інші можливі масиви в конфігурації з вісьмома, сім'ю, шістьма, п'ятьма, чотирма, трьома і двома дисками.

Випадковий доступ в масиві RAID 0 теж досить цікавий. Швидкість випадкового читання при кожному розмірі блоку даних пропорційна кількості дисків в масиві, що цілком логічно. Причому при розмірі блоку 512 Кбайт при будь-якій кількості дисків в масиві спостерігається характерний провал по швидкості випадкового читання.

При випадкового запису при будь-якій кількості дисків в масиві швидкість зростає зі збільшенням розміру блоку даних і ніяких провалів в швидкості немає. У той же час потрібно відзначити, що найбільша швидкість в цьому випадку досягається не при восьми, а при семи дисках в масиві. Слідом за швидкістю випадкового запису йде масив з шести дисків, потім з п'яти і тільки потім з восьми дисків. Причому за швидкістю випадкового запису масив з восьми дисків практично ідентичний масиву з чотирьох дисків.

За швидкістю випадкового запису масив RAID 0 перевершує всі інші можливі масиви в конфігураціях з вісьмома, сім'ю, шістьма, п'ятьма, чотирма, трьома і двома дисками. А ось за швидкістю випадкового читання в конфігурації з вісьмома дисками масив RAID 0 поступається масивів RAID 10 і RAID 50, але в конфігурації з меншою кількістю дисків масив RAID 0 лідирує за швидкістю випадкового читання.

RAID 5

Масив RAID 5 можна створити з кількістю дисків від трьох до восьми. Результати тестування для масиву RAID 5 представлені на рис. 16-23.

Зрозуміло, що найбільш висока швидкість читання і запису досягається при восьми дисках. Варто звернути увагу на те, що для масиву RAID 5 швидкість послідовного запису в середньому вище, ніж швидкість читання. Однак при певному розмірі запиту швидкість послідовного читання може перевищувати швидкість послідовного запису.

Не можна не відзначити і характерні провали по швидкості послідовного читання і запису при певних розмірах блоків при будь-якій кількості дисків в масиві.

За швидкістю послідовного читання і запису в конфігурації з вісьмома дисками масив RAID 5 поступається масивів RAID 0 і RAID 50, але перевершує масиви RAID 10 і RAID 6. У конфігураціях з сімома дисками масив RAID 5 по швидкості послідовного читання і запису поступається масиву RAID 0 і перевершує масив RAID 6 (інші типи масивів неможливі при даній кількості дисків).

У конфігураціях з шістьма дисками масив RAID 5 по швидкості послідовного читання поступається масивів RAID 0 і RAID 50, а за швидкістю послідовного запису - тільки масиву RAID 0.

У конфігураціях з п'ятьма, чотирма і трьома дисками масив RAID 5 по швидкості послідовного читання і запису поступається лише масиву RAID 0.

Випадковий доступ в масиві RAID 5 подібний випадковому доступу в масиві RAID 0. Так, швидкість випадкового читання при кожному розмірі блоку даних пропорційна кількості дисків в масиві, а при розмірі блоку 512 Кбайт при будь-якій кількості дисків в масиві спостерігається характерний провал по швидкості випадкового читання. Причому потрібно відзначити, що швидкість випадкового читання слабо залежить від кількості дисків в масиві, тобто для будь-якої кількості дисків вона приблизно однакова.

За швидкістю випадкового читання масив RAID 5 в конфігурації з вісьмома, сім'ю, шістьма, чотирма і трьома дисками поступається всім іншим масивів. І тільки в конфігурації з п'ятьма дисками він незначно випереджає масив RAID 6.

За швидкістю випадкового запису масив RAID 5 в конфігурації з вісьмома дисками поступається лише масивів RAID 0 і RAID 50, а в конфігурації з сімома і п'ятьма, чотирма і трьома дисками - тільки масиву RAID 0.

В конфігурації з шістьма дисками масив RAID 5 поступається за швидкістю випадкового запису масивів RAID 0, RAID 50 і RAID 10.

RAID 6

Контролер LSI 3ware SAS 9750-8i дозволяє створити масив RAID 6 з кількістю дисків від п'яти до восьми. Результати тестування для масиву RAID 6 представлені на рис. 24-29.

Характерно, що в масивах з восьми і шести дисків швидкість послідовного читання вище швидкості запису, а в масиві з чотирьох дисків ці швидкості практично збігаються при будь-якому розмірі блоку даних.

Для масиву RAID 10, так само як і для всіх інших розглянутих масивів, характерно падіння швидкості послідовного читання і запису при певних розмірах блоків даних при будь-якій кількості дисків в масиві.

При випадкового запису при будь-якій кількості дисків в масиві швидкість зростає зі збільшенням розміру блоку даних і ніяких провалів в швидкості немає. Крім того, швидкість випадкового запису пропорційна кількості дисків в масиві.

За швидкістю послідовного читання масив RAID 10 йде слідом за масивами RAID 0, RAID 50 і RAID 5 в конфігурації з вісьмома, шістьма і чотирма дисками, а за швидкістю послідовного запису він поступається навіть масиву RAID 6, тобто йде слідом за масивами RAID 0, RAID 50, RAID 5 і RAID 6.

Зате по швидкості випадкового читання масив RAID 10 випереджає всі інші масиви в конфігурації з вісьмома, шістьма і чотирма дисками. А ось за швидкістю випадкового запису цей масив програє масивів RAID 0, RAID 50 і RAID 5 в конфігурації з вісьмома дисками, масивам RAID 0 і RAID 50 в конфігурації з шістьма дисками і масивів RAID 0 і RAID 5 в конфігурації з чотирма дисками.

RAID 50

Масив RAID 50 можна побудувати на шести або восьми дисках. Результати тестування для масиву RAID 50 представлені на рис. 35-38.