Uszkodzony Ext4

[Arpe]

Witam,

dotyczy Centosa 7,  było tak:

podpięta macierz iscsi, na niej 1 lun, 4 partycje

podczas restartu (prawidłowego, planowanego) rzucił jakieś komunikaty, że nie może prawidłowo odmontowac systemu plików, ale za chwilę się zamknął bez użycia siły

jak juz wstał, to okazała sie że jedna z partycji się nie montuje (bad superblock itp.)

takie sie pokazały błędy:

 

 

ext2fs_check_desc: Uszkodzony deskryptor grupy: wadliwy blok bitmapy bloków
e2fsck: Deskryptory grup wyglądają źle... próba użycia zapasowych bloków...
flaga needs_recovery superbloku jest wyzerowana, ale kronika zawiera dane.
Flaga odtworzenia nie ustawiona w zapasowym superbloku,
więc wykonuję zapisy z kroniki mimo to.
Wyczyścić kronikę? nie
/dev/sdd4 nie był czysto odmontowany, wymuszono sprawdzenie.
Przebieg 1: Sprawdzanie i-węzłów, bloków i rozmiarów
Przebieg 2: Sprawdzanie struktury katalogów
Przebieg 3: Sprawdzanie łączności katalogów
Przebieg 4: Sprawdzanie liczników odwołań
Przebieg 5: Sprawdzanie sumarycznych informacji o grupach
Błędna liczba wolnych bloków dla grupy #1 (31335, naliczono 2504).
Poprawić? nie
Błędna liczba wolnych bloków dla grupy #2 (32768, naliczono 1147).
Poprawić? nie
Błędna liczba wolnych bloków dla grupy #3 (31335, naliczono 3902).
Poprawić? nie
 

 

i tak dalej 8 MB.

udało mi się zamontować na pierwszym zapasowym superbloku (mount -o sb=23423423 /dev/sdd4) i zobaczyłem prawidłową strukturę danych, sprawdziłem du zawartość, okazało się, że kilka węzłów jest walniętych

wtedy wpadłem na zaj....sty pomysł, odmontowałem tę partycję i zacząłem montować na innych superblokach, żeby sprawdzić, czy będzie lepsza zawartość, ale w żadnym przypadku nie zadziałało, niestety na pierwszym zapasowym też juz nie poszło i log fsck się zmienił:

 

 

ext2fs_check_desc: Uszkodzony deskryptor grupy: wadliwy blok bitmapy bloków

fsck.ext4: Deskryptory grup wyglądają źle... próba użycia zapasowych bloków...

/dev/mapper/mpathb4 zawiera system plików z błędami, wymuszono sprawdzenie.

Przebieg 1: Sprawdzanie i-węzłów, bloków i rozmiarów

Przebieg 2: Sprawdzanie struktury katalogów

Wpis 'katalog1' w / (2) ma usunięty/nie używany i-węzeł 88866817. Wyczyścić? nie

Wpis 'katalog1' w / (2) ma błędny filetype (był 2, powinien być 0).

Poprawić? nie

Wpis 'katalog2' w / (2) ma usunięty/nie używany i-węzeł 72089601. Wyczyścić? nie

Wpis 'katalog2' w / (2) ma błędny filetype (był 2, powinien być 0).

Poprawić? nie

Wpis '..' w <88866817>/<89262290> (89262290) ma usunięty/nie używany i-węzeł 88866817. Wyczyścić? nie

Wpis '..' w <88866817>/<89262290> (89262290) ma błędny filetype (był 2, powinien być 0).

Poprawić? nie

Wpis '5' w <88866817>/<89262290>/2015 (89262291) ma usunięty/nie używany i-węzeł 91751489. Wyczyścić? nie

Wpis '5' w <88866817>/<89262290>/2015 (89262291) ma błędny filetype (był 2, powinien być 0).

Poprawić? nie

Wpis '6' w <88866817>/<89262290>/2015 (89262291) ma usunięty/nie używany i-węzeł 90833686. Wyczyścić? nie

Wpis '6' w <88866817>/<89262290>/2015 (89262291) ma błędny filetype (był 2, powinien być 0).

Poprawić? nie

 

 

i tym razem 45MB, ogólnie system wygląda na całkowicie rozpieprzony, zrobiłem więc obraz dd i próbuje walczyć na wirtualce (photorec itp.), ale mam pytania:

 

co się k... stało ?  dlaczego zamontowanie i odmontowanie rozwaliło coś co się jeszcze do czegoś nadawało ? po chudego mi 25 kopii superbloków skoro wszystkie są tak samo bezużyteczne z powodu jednego błędnego odmontowania ?

jak działa, do czego służy, gdzie się znajduje i czy może się do czegoś przydać journal od ext4 ?

albo prościej: ludzie ratujcie !

 

z góry dziękuję za pomoc i zyczę wszystkiego najlepszego w Nowym Roku

[@WalDo]

A sprawdziłeś fizyczny stan dysku? smartctl?

Na fizyczne uszkodzenia nawet 1000 superblocków będzie mało

[@sunrise]

System Ci się wysypał, przy próbie naprawy na pytanie czy naprawić odpowiadasz nie więc takl naprawdę fs masz nie naprawiony i próbujesz go zamontować. Montowanie uszkodzonego fsu to nie jest dobry pomysł

Jak naprawić? pozwolić fsck naprawić błędy. Sprawdzić czy mimo to niektóre nie są czasem uszkodzone, uszkodzone odzyskać z kopii bezpieczeństwa (oczywiście masz kopię), sprawdzić powody problemów z odmontowaniem, skoro jest to macierz iscsi może jakieś problemy z połączeniem (ethernet, fc czy jak tam masz zorganizowane).

[Arpe]

wielkie dzieki za odzew

uszkodzenie fizyczne wykluczone

naprawianie prze fsck daje różne efekty  i wolałem nie ruszać na oryginalnym systemie

działam na obrazie podpiętym jako independent na VB i nic nie daje, ale to już chyba za późno bo to próbne zamontowanie rozsypało jeszcze bardziej, interesuje mnie dlaczego

problem z odmontowaniem mógł być wynikiem konfiguracji siecowej iscsi ? mam kilka dużych systemów na iscsi po ethernecie i nie było żadnych problemów, kurde

tak czy inaczej dzięki

[@sunrise]

Problem mógł być z fizycznym połączeniem, błędem w oprogramowaniu iscsi (lio / scst czy co tam używasz), błędem z konfiguracją np. https://groups.google.com/forum/#!topic/open-iscsi/8U9mAXutlyE pytanie czy wcześniej system zamykał sie bez problemów, a jeżeli tak to czy coś zmieniałeś w międzyczasie.

[Miszcz]

Mam pytanie odnośnie tematu. Jak maiłeś ustawioną opcję ErrorsBehavior na tym uszkodzonym systemie ext4? Sprawdzisz to:

 

 

tune2fs -l <twoje urządzenie blokowe>  |grep Errors

[Arpe]

dump2fs /dev/sdd4 |grep -i errors:

 

Errors behavior: Continue

[Arpe]

fsck "odzyskał" 7GB z 1,5 TB

 

tak, dla podtrzymania rozmowy

[Miszcz]

Naprawił całkowicie? Jak odzyskał? Podziel się swoimi osiągnięciami

[Arpe]

no bez jaj, 1,5 TB było przed awarią,  po naprawie przez fsck jest 7GB śmiecia i reszta puste, całkowicie to sp...lił co się jeszcze dało sp..lić,

na szczęście jest to tylko obraz independent i po restarcie "naprawa" poszła w niepamięć ( na żywym systemie nigdy bym fsck od tak nie puścił )

tak czy inaczej gratulacje dla twórców oprogramowania pod systemd, bo wyrwanie wtyczki (zatrzymanie iscsi) przed odmontowaniem zasobu to osiągnięcie godne systemów z XXI w.

dostałem już gratulację za tak rozwalony systemu plików, szczególnie bez awarii sprzętwo-prądowej

co do osiągnięć, to mielę photorec-iem, a kolejny obraz potraktuję UFS-em, coś już mam ale jeszcze daleka droga

największą nadzieję pokładałem w jakimś zapisie, dzienniku zmian na dysku i odzyskaniu poprzedniej wersji superbloku