Jak Odzyskać Dane Z Xfs...?

[kermi]

Na macierzy RAID 5 był postawiony system plików XFS. Serwer był podpięty do UPS'a. Z powodu przepięcia w sieci energetycznej oraz przegrzania dysków (smart raportuje o temperaturze 80 stopni) macierz się zdesynchronizowała, tym bardziej, że były trzy po kolei przepięcia i restarty systemu. Nie wyłączając komputera obniżyłem temperaturę wewnątrz komputera i zsynchronizowałem macierz. Macierz zsynchronizowała się poprawnie, fdisk poprawnie zobaczył system plików XFS. Wtedy przez dd z opcjami conv=noerrors,sync skopiowałem partycję na dysk zewnętrzny. Po wyłączeniu i ostudzeniu dysków nie udało się zsynchronizować macierzy, a jak się w końcu udało system plików był nierozpoznawalny.

 

Sklonowaną partycję można podmontować, ale widać tylko w katalogu lost+found pliki, ktorych nazwa jest numerem i rozszerzenia.

 

Użycie komendy xfs_db -c "sb 0" -c "p" /dev/sde5 daje:

 

magicnum = 0x58465342
blocksize = 4096
dblocks = 183103920
rblocks = 0
rextents = 0
uuid = e2716dab-5b52-085e-eae2-3d8442c32a1a
logstart = 134217735
rootino = 256
rbmino = 257
rsumino = 258
rextsize = 1
agblocks = 5722000
agcount = 32
rbmblocks = 0
logblocks = 89406
versionnum = 0xbdb4
sectsize = 4096
inodesize = 256
inopblock = 16
fname = "\000\000\000\000\000\000\000\000\000\000\000\000"
blocklog = 12
sectlog = 12
inodelog = 8
inopblog = 4
agblklog = 23
rextslog = 0
inprogress = 0
imax_pct = 25
icount = 37056
ifree = 7341
fdblocks = 181668411
frextents = 0
uquotino = 0
gquotino = 0
qflags = 0
flags = 0
shared_vn = 0
inoalignmt = 2
unit = 16
width = 48
dirblklog = 0
logsectlog = 12
logsectsize = 4096
logsunit = 4096
features2 = 0xa
bad_features2 = 0xa

 

xfs_repair :
couldn't verify primary superblock not enough secondary superblocks with matching geometry
attempting to find secondary superblock......................

xfs_check:
cannot init perag data (117)

 

Próbowałem używać programów testdisk, xfs_explorer, UFS Explorer Professional Recovery, photorec bez żadnych rezultatów.

 

Problem w tym, że archiwum nie nadaje się na nagranie na płytę, gdyż po spakowaniu ma 17 GB, a podłączony zewnętrzny dysk jest usmażony przez impuls z sieci energetycznej, a na tej partycji jest obraz maszyny wirtualnej z bardzo dużą ilością baz danych MS SQL . . . .

 

Czy ma ktoś pomysł na próbę odzyskania tych danych?

 

 

 

 

 

 

[Miszcz]

Ja bym próbował odzyskać z sewera kopii zapasowych- bo oczywiście  jako rozsądny admin takowy posiadasz?

[kermi]

Ha ha, serwer jest jeden, w dodatku od 2 lat się kłóciłem z włascicielka o przeglądnięcie sieci energetycznej, w dodatku z braku miejsca pracownice biura obłożyły serwer segregatorami, bo biedne nie miały gdzie trzymać dokumentów.

[Miłosz]

No to w takim przypadku za dużo nie kombinuj i wyślij całość do firmy odzyskującej dane. Np akte.com.pl

[witekmo]

Nigdy nie używałem RAID, ale już kolejny raz czytam, że po awarii nie można odzyskać danych i przed niczym tak naprawdę nie ratuje. Może ktoś bardziej doświadczony poda jakieś zalety RAID, bo jak widać nie zastąpi konwencjonalnej kopii zapasowej.

[@WalDo]

Zależy o jakim typie RAID mówimy. Np. RAID 0 zwiększa szybkość operacji I/O. W razie padu RAID0 tracimy dane, ale nie jest jego rolą ich ochrona.

Dlatego często (jeśli nie najczęściej) stosuje się połączenie RAID 1+0 zwany przez niektórych RAID 10 lub - rzadziej - 0+1. RAID 1 (mirroring) zmniejsza nieco efekt uzyskiwany z RAID 0, ale jak coś padnie, to na ogół można odratować z "bliźniaka".

O pozostałych typach można poczytać w internecie. Różnice, wady i zalety są opisane już tyle razy, że aż mdłości można dostać

[Scorpion]

W takiej sytuacji ja bym najpierw sprawdził dyski (smartctl powinien cos wypluć)

 

Stworz macierz od nowa, zeby miec pewnosc, ze dane nie sa uszkodzone (nawet jesli odzyskasz)

Skopiuj z backupa na nowa macierz.

 

Moim zdaniem proba odzyskiwania danych z tak powaznej sytuacji nie jest rozsadna.

 

Tak w ogole to Hardware raid czy Software raid ?

[kermi]

Jest to software RAID poziom 5. Też sobie zadaje pytanie o sens stawiania macierzy, ale gdzie indziej się sprawdza. Problemem jest to, że na dzień dobry dyski były "ugotowane" bo jak inaczej nazwać temperaturę dysku 80 stopni, a temperatura płyty głównej - była ponad 50 stopni. W normalnych warunkach, gdzie serwer a raczej komputer udający serwer ma odpowiednie warunki macierz sprawdziła mi się wielokrotnie. Nawet biorąc pod uwagę tylko temperaturę dysków, to może zdarzyć się tak, że po ostygnięciu dysk ledwo odczytuje zapisane w wyższej temperaturze sektory. To osobliwy wypadek bo:

 

- komputer był schowany w specjalnej drewnianej szafce - dla oszczędności miejsca

- wokół tej szafki nie było cyrkulacji powietrza - poustawiane obok segregatory zakłóciły obieg powietrza

- właścicielka nie miała pięniędzy na dysk zewnętrzny do archiwizacji, nie mówiąc o backup serwerze archiwizującym WSZYSTKIE komputery

- parokrotnie odwoływała termin przeglądu serwera - bo jakieś tam ma terminy i co by było, gyby coś się stało.

 

Ale wracając do rzeczy: dyski zostały naprawione,macierz zsynchronizowana na nowo, obraz macierzy został nagrany na inny, nowy dysk. System po ostygnięciu nie widzi już na macierzy systemu plików XFS, tylko EXT4...

 

System można podmontować, ale zachowuje się tak, jak wyżej napisałem

[gal3rnik]

Jest to software RAID poziom 5. Też sobie zadaje pytanie o sens stawiania macierzy, ale gdzie indziej się sprawdza.

Ale wracając do rzeczy: dyski zostały naprawione,macierz zsynchronizowana na nowo, obraz macierzy został nagrany na inny, nowy dysk. System po ostygnięciu nie widzi już na macierzy systemu plików XFS, tylko EXT4...

 

System można podmontować, ale zachowuje się tak, jak wyżej napisałem

 

Stawianie macierzy (Raid 5) ma swój sens, ale zdaje się, że ma zabezpieczyć przed uszkodzeniem jednego z dysków. Przed przegrzaniem, serwer zabezpiecza się trochę inaczej niż chowając go w zamkniętej szafce

 

Wracając do rzeczy, wygląda na to że macierz nieodbudowała się prawidłowo, i masz niepoprawnie działający system (o ile w ogóle działa). Czy po tych całych "gotowaniach serwera" i odbudowaniu macierzy sprzęt działa niestabilnie? Jeżeli tak, to w pierwszej kolejności trzeba sprzęt usprawnić, jeżeli działa poprawnie, to zostaje tylko problem danych.

 

Tego dupma próbowałeś go gdzieś odtworzyć?

[gal3rnik]

Nigdy nie używałem RAID, ale już kolejny raz czytam, że po awarii nie można odzyskać danych i przed niczym tak naprawdę nie ratuje. Może ktoś bardziej doświadczony poda jakieś zalety RAID, bo jak widać nie zastąpi konwencjonalnej kopii zapasowej.

 

Raid jest zabezpieczeniem sprzetowym (o ile jest to raid sprzetowy) i ma chronić przed awariami sprzętu. Szczegóły poza tym co Waldo napisał, doczytaj na wiki raid.

Backup danych ma za zadanie zabezpieczyć te dane. Jest to inny poziom zabezpieczenia. Najczęściej stosuje się jedno i drugie tzn. raid sprzętowy oraz backup. Jak to wygląda w praktyce ?!?, jak administrator od czasu do czasu monitorujący stan serwerów widzi, że na macierzy świeci się czerwone światełko, wymienia dysk, a miacierz odbudowywuje się samoczynnie. Wszystko to odbywa się bez wyłączania serwera. W przypadku, braku takiego zabezpieczenia sprzętowego jak raid, system przestaje działać, admin musi poświęcic chwilę na odtworzenie danych z backupu - co najczęściej chwilę zajmuje. Założeniem jest że backup taki wykonał sie poprawnie. Bardzo często są takie sytuacje, że wykonujemy backup kluczowych elementów systemu, ale tak naprawdę nigdy nie ma okazji na przetestowanie odzyskania takiego backupu. Zazwyczaj okazją jest jakaś poważna awaria i wtedy zostaje modlitwa, czy backup wykonał się prawidłowo .

Przy systemach pracy ciągłej - takich działających 24 na dobę oraz 365 dni w roku poleganie tylko na backupie było by mało rozsądne.

Dodam jeszcze, że istnieje jeszcze coś takiego jak raid sprzętowy, gdzie mamy sytuację podobną do raida 1, ale na sprzęcie. Są dwa nody serwerowe połączone odpowiednim kontrolerem. W przypadku awarii jednego, drugi cały czas może pracować. To są już rozwiązania bardzo drogie.

[@sunrise]

A co pisze w logach?

Kolejność dysków nie była zmieniana?

Dyski są w ogóle sprawne?

fdisk nie ma żadnego pojecia od typie fs na danej partycji.

RAID5 != backup

Off topic: Zawsze mnie zadziwiają takie osoby, szczególnie jak ktoś prowadzi działalność gospodarczą, dysk zewnętrzny na backup kosztuje ile 300-400PLN? a koszt odzyskania/odtworzenia danych to ile kosztuje? Pominę koszt przestoju, ewentualnych odszkodowań, kar itd.

[kermi]

Stawianie macierzy (Raid 5) ma swój sens, ale zdaje się, że ma zabezpieczyć przed uszkodzeniem jednego z dysków. Przed przegrzaniem, serwer zabezpiecza się trochę inaczej niż chowając go w zamkniętej szafce

 

Wracając do rzeczy, wygląda na to że macierz nieodbudowała się prawidłowo, i masz niepoprawnie działający system (o ile w ogóle działa). Czy po tych całych "gotowaniach serwera" i odbudowaniu macierzy sprzęt działa niestabilnie? Jeżeli tak, to w pierwszej kolejności trzeba sprzęt usprawnić, jeżeli działa poprawnie, to zostaje tylko problem danych.

 

 

Tego dupma próbowałeś go gdzieś odtworzyć?

Wiem, że macierz nie odbudowała się prawidłowo, natomiast dump z działającej przegrzanej macierzy jak pisałem wcześniej jest poprawnie wykrywany jako XFS. Niestety z powodu uszkodzeń dysków system plików jest nieprawidłowy i nie mam zielonego pojęcia jak go naprawić, gdyż xfs_repair szuka bloku zapasowego, nie znajduje go i na tym koniec. Działam tylko na dumpie, bo z serwera wywaliłem wszystkie dyski, wstawiłem nowe, bo nie wiadomo jak zachowają się w dłuższym czasie przegrzane dyski. Postawiłem macierz RAID 6 na wszelki wypadek.  Po postawieniu wywaliłem dwa dyski, wyzerowałem je (dd if=/dev/zero of=/dev/sdx), odpaliłem serwer. Macierz się odpaliła i raportowała brak dwóch dysków. Podłączyłem wyzerowane dyski, zsynchronizowałem macierz i wszystko jest ok. Czyli zabezpieczenie jest poprawne i działa. Ponadto właścicielka zdecydowała się w końcu na blue-ray i codzienne automatyczne nagrywanie na płytę, choć jest to droższe niż na DVD, ale zabezpiecza wszystkie dane przynajmniej z serwera.

 

Problemem jest w tej chwili jak naprawić system XFS - xfs_db wypluł mi to co jest pokazane w pierwszym poście.

[witekmo]

Raid jest zabezpieczeniem sprzetowym (o ile jest to raid sprzetowy) i ma chronić przed awariami sprzętu. [...]

Backup danych ma za zadanie zabezpieczyć te dane. Jest to inny poziom zabezpieczenia.

 

Dzięki za wyjaśnienie, wreszcie złapałem różnicę  między RAID i backup. Najwyraźniej wiele osób tego nie rozumie i uważa, że jak ma RAID to nie potrzebuje kopii zapasowej. Autor tego wątku chyba niestety też tego nie wiedział. Z tego wynika, że w niewielkiej firmie, gdzie kilkugodzinny przestój serwerów nie powoduje poważniejszych problemów znacznie ważniejsze jest posiadanie kopii danych niż zabezpieczenie ciągłości pracy serwera.

 

Przy okazji: w czym lepsze będzie nagrywanie na płytę blue-ray od backupu na klasycznym dysku?

[gal3rnik]

Off topic: Zawsze mnie zadziwiają takie osoby, szczególnie jak ktoś prowadzi działalność gospodarczą, dysk zewnętrzny na backup kosztuje ile 300-400PLN? a koszt odzyskania/odtworzenia danych to ile kosztuje? Pominę koszt przestoju, ewentualnych odszkodowań, kar itd.

Słyszałem taką anegdotkę  - administratorzy dzielą się na takich którzy prowadzą backup systemu, oraz na takich którzy będą taki backup prowadzili - w tym wypadku dotyczy to też inwestorów

 

Problemem jest w tej chwili jak naprawić system XFS - xfs_db wypluł mi to co jest pokazane w pierwszym poście.

Jak dobrze zrozumiałem. System działa na innej maszynie na której postawiłeś dumpa, a teraz walczysz z serwerem, do którego wsadziłeś dwa dysyki odbudowując macierz, jedna teoretycznie macierz się odbudowała jednak są na niej cały czas błędy z posta 1 ?

A postawienie serwera (całego systemu) od początku ? Ale to ostateczność.

[kermi]

 

Przy okazji: w czym lepsze będzie nagrywanie na płytę blue-ray od backupu na klasycznym dysku?

 

Proste! dysk zewnętrzny też może ulec uszkodzeniu elektrycznemu! Firma nie pracuje 24 godziny na dobe.  No i po kolei bo się zrobiło zamieszanie:

 

1. Dump z macierzy, która jest poprawnie rozpoznawana jako XFS leży sobie na luźnym dysku i czeka na naprawę systemu XFS...

2. W serwerze są postawione nowe dyski, nowy system, z kopii na płycie DVD odtworzyłem ok. 90% oprogramowania pracującego na serwerze, służącym jako serwer plików

3. Dysk zewnętrzny, który był podpięty do serwera i archiwizował dane trafiło napięcię, które też było przyczyną uszkodzenia dysku w serwerze - musiał być to impuls, który płyta główna wytrzymała (własne przetwornice napięcia ).

4. UPS, do którego był podpięty dysk oraz serwer pik napięcia puścił i dlatego te uszkodzenia

5. Dyski twarde przegrzane (temp. wg smart to 80 stopni), dlatego po zsynchronizowaniu macierzy od razu zrobiłem dump na oddzielnym dysku -patrz pkt.1 (Po ostudzeniu dyski nie zamontowały systemu XFS, tylko EXT4 co jest zrozumiałe z powodu przegrzania)

6. Na dumpie najważniejszy jest obraz dysku wirtualnego, gdzie są bazy MS SQL i nie były zaplanowane na nagranie na płycie - bo się nie mieściły, nagrywane były na dysku zewnętrznym, który został uszkodzony przez impuls z sieci energetycznej.

7. W firmie nie jest wymagana praca 24/7 dni w tygodniu - przerwa w pracy jest dopuszczalna.

 

 

 

Moje pytanie jest następujące:

 

Jak naprawić system XFS, jeśli XFS_REPAIR nie odnajduje głownego bloku i bloków zapasowych? Żeby było ciekawiej system ten można podmontować, ale nazwy plików to numery z rozszerzeniem.