Что-то сегодня адуха какая-то.
Как будто бы рейд посыпался.
Пока я сегодня спал, пришло уведомление, что из массива выпал один диск, к моменту как я дополз до компьютера - уже недоставало двух.
При этом диски не были помечены сбойными, а просто пропали из массива. При этом находясь в системе и показывая по mdadm --examine, что они часть рейда. Причём ещё и в статусе "active". Когда в это же время в mdadm --detail было минус два диска как будто их просто не существует.
В итоге один вернулся сам после того как я этих двоих физически вынул и вернул обратно.
Второй вернулся после mdadm <array> --add. Выглядело всё это так как будто mdadm - слепой, а я его носом ткнул и он такой: "Да вот же он!".
Вот только в следующий ребут ФС, которая находится поверх LUKS на этом массиве не подмонтировалась с ошибкой "fsconfig system call failed: Structure needs cleaning", а e2fsck нашёл какую-то ебАную кучу всякой хрени (пока просто в режиме без изменений).
Оставил на ночь mdadm провести проверку целостности массива с пересчётом и ...
Заказал дисков, на которые планировал обновляться в самом конце года.
Короче говоря, астрологи объявили неделю приключений, танцев с бубном, незапланированных трат и потенциальной потери 30 терабайт данных 🎉
Предлагаю делать ставки на исход.
#hardware #server #soft #mdadm #Linux #RAID #log #storage #WTF #shit
@skobkin за что я ненавижу рейды сложнее raid1 -- взглючит, хрен соберешь. нельзя тупо диск на другую машину утащить и подключить
@skobkin @burbilog @andrey У софтовых рейдов на линуксах, mdadm, lvm, zfs, etc есть один существенный минус: ПО размазывает блоки контроля чётности равномерно по всем дискам вместе с данными. Это даёт удобство администрирования, но скорость восстановления таких массивов гораздо медленнее, чем у честных "железных" рейдов. К примеру, в хуавеевской железке 16-терабайтный hdd на 10k ребилдится за день, около 11 часов. В lvm-ном массиве аналогичный диск восстанавливается почти трое суток, на топовом ксеоне и терабайте оперативки.
У меня был в практике случай, когда администрация одного города закупила хранилки под конкретный проект, проигнорировав рекомендации архитекторов. Купили 6 схд, в каждой по несколько сотен nl-sas дисков и сколько-то там ссдшек под кеш. Запилили на этом хозяйстве шестые рейды. Где-то год всё работало, потом начали сыпаться диски: сначала меняли по одному-два в неделю, через пару месяцев уже по 4-5 штук. Постепенно довели инфраструктуру до критической точки, диски в рейдах уже не успевали перестраиваться. Проебали пару петабайт. Могли бы и больше, но к рекомендациям уже начали прислушиваться и мы сумели более-менее всё разрулить.
@unkn0wwn @skobkin @burbilog @andrey да, я тоже дома r10 пользую. Вероятность сбоя сразу двух дисков в одном зеркале околонулевая,
а ребилдится оно в разы быстрее, чем p/q, считать же ничего не надо.
Но места в зеркале меньше всего, конечно. Когда думал над вариантами, r5 на 120+ тб выглядел очень привлекательно 😆
@3draven @skobkin @1lyaP @unkn0wwn @andrey поскольку я хожу клянчить себе сервера целиком, то на фоне денег за сервер+процессор+память диски как-то не выглядят большим перерасходом
хотя хрен знает, что бы я делал, случись нужда в сотнях терабайт. у меня, к счастью, виртуалки хоть и ответственные, но некрупные