Wydajność Systemu Dyskowego

[old]

Witam

 

Jest jakiś sposób aby zmierzyć wydajność systemu dyskowego na systemie gościa? Nie wiem czy wyniki generowane np. przez hdparm -tT /dev/xvd{x} są miarodajne.

 

old

 

 

 

[Gość]

Możesz użyć dd, ale to jedynie przetestuje prędkość odczytu/zapisu liniowego.

Ściąg sobie jakiś benchmark i testuj

[samba]

Możesz użyć dd, ale to jedynie przetestuje prędkość odczytu/zapisu liniowego.

Ściąg sobie jakiś benchmark i testuj

Podłączam się pod pytanie czy prócz hdparm , iotop jest jakiś odpowiednik np windowsowego hd tach do mierzenia szybkości dysków ? Chcę zakupić sprzętowy kontroler raid oraz nowe dyski i chciałbym porobić próby przed zmianą i po zmianie .

[Gość _PaT]

bonnie++

Łatwy, wygodny, sprawdzony

[samba]

bonnie++

Łatwy, wygodny, sprawdzony

Co do łatwości bonnie ++ to raczej nie pisałbym że jest taki łatwy Mnie interesuje realna różnica w wydajności zapisu/odczytu przez sieć . Mam sambę i na serwerze na którym stoi samba będę wymieniał kontroler na nowy 3ware 9650SE. Robię dwa raidy (2 units) raid 5.

Pierwszy raid 5 (unit 1) bedzie na system tj cały Linux (cenots 5.4)

Drugi raid 5 (unit 2) na dane (samba) które będą widoczne przez klientów XP

 

Teraz chciałbym porównać realną szybkość zapisu i odczytu przez sieć (sambę) gdzie klient zapisuje coś na serwerze i odczytuje. Jakieś pomysły jak taki benchmark przeprowadzić ?

 

Na dane planuję przestrzeń ponad 2 TB jak myślicie jaki system plików będzie najwydajniejszy w połączeniu z raid 5 i sambą ? Zastanawiam się nad XFS ale słyszałem że EXT4 jest też niczego sobie. Który system plików wybralibyście ?

 

Jeśli chodzi o wsparcie (nie pamiętam dokładnie) Centos nie ma jeszcze binarek i możliwości instalki na ext4 ??

Wie ktoś ?

[Gość _PaT]

Jeśli chodzi o wsparcie (nie pamiętam dokładnie) Centos nie ma jeszcze binarek i możliwości instalki na ext4 ??

Wie ktoś ?

 

W RHEL-u z serii 5.x ext4 jest dostępny jako Technology Preview. Nie wiem co robi z tym CentOS, ale pewnie gdzieś się znajdą binarki

 

W RHEL-u 6 beta (dostępny publicznie za free) jest już ext4.

 

Do reszty postu odniosę jak się jak przyjdzie czas i ochota

[8xxa_FC]

mam pewne wątpliwości i pytanie może trochę off-topic: jaką sieć masz/budujesz?

przed chwilą sprawdziłem hdparmem (pomiar to raczej nie był. to fakt) - transfer jest całkiem spory (ale to było po sata). sieć (100Mb) raczej nie powinna zadławić dysku. a jak dorzucimy cache w ram....

jak by mi nie zależało na bardzo konkretnych cyferkach, to zwyczajnie zapisałbym i odczytał dvd.iso jakiejś dystrybucji (i miałbym transfer jednego, dużego pliku) a potem to samo, tyle że zawartość płyty (dużo małych).

nie przychodzi mi do głowy prostszy sposób zasymulowania normalnej (?) pracy.

jeżeli bezpieczeństwo systemu plików zapewni infrastruktura serwera i kontrola parzystości na raidzie (a conajmniej niektóre z rodziny tych kontrolerów w moim odczuciu wystarczająco dobrze sprzętowo załatwiają problem bezpieczeństwa struktury dysku/plików), to zastanowiłbym się nad czymś bez kronikowania (np. ext2 - znany, narzędzi dużo, itp.) - powinno być szybciej/wydajniej.

 

[samba]

mam pewne wątpliwości i pytanie może trochę off-topic: jaką sieć masz/budujesz?

przed chwilą sprawdziłem hdparmem (pomiar to raczej nie był. to fakt) - transfer jest całkiem spory (ale to było po sata). sieć (100Mb) raczej nie powinna zadławić dysku. a jak dorzucimy cache w ram....

Mam obecnie siec 1Gb/s .Chcę zmaksymalizować wydajność odczytu i zapisu na sambie . Kontroler i dyski już zakupiłem. Obecnie mam na serwerze Fedore 7 . Chcę migrować do centos 5.4. Zastanawiam się jak zrobić to szybko i skutecznie aby zrobić i nie narobić się

 

Macie jakieś pomysły jak zreplikować baze danych użytkowników tdbsam samby tj przenieść z jednego systemu na inny aby SID domeny nie zmienił się a tym samym abym nie musiał ponownie dodawać do domeny klientów oraz tworzyć kont dla nich?

 

Zastanawiam się jaki system plików będzie najwydajniejszy dla dużych partycji powyżej 2TB ? Korci mnie xfs ale nie miałem z nim doczynienia. Czy snapshoty jeśli chodzi o xfs i wersjonowanie plików działa tylko gdy mamy LVM czy na zwykłych partycjach też to działa ?

 

Chciałbym mieć taką opcję jak w linku poniżej

 

http://akademia.linuksa.pl/w/marcin.bis/volume_shadow_copy

[hello_world]

NIe działa tylko na LVM

[samba]

NIe działa tylko na LVM

Czy jest to zależne od systemu plików czy warunkiem jest zrobienie LVM niezależnie od systemu plików ? Rozumiem że nie ma żadnej możliwości aby mieć na sambie wersjonowanie plików ?

[hello_world]

Wydaje mi się że jest to zależne od systemu plików.(przynajmniej nie znam innych rozwiązań)

Są systemy plików np zfs które potrafią takie rzeczy wyprawiać. Niestety standardowe linuksowe nie. Można implementować lvm i chyba jest to niezla droga

Przy okazji potrzebowalem miejsca na dysku i dodalem pendriva 8GB.Ze mam / na lvm i w jednej grupe dwa woluminy logiczne (tj. / i swap) to postanowiłem powiększyć VolLog00(czyli /) no i zainicjowalem fizyczny wolumin(sdb) potem powiększylem o cala wiekość pena i co - wszystko ładnie się powiększyło i można powiedzieć sukces.Ale

Chcąc odwrócic sytuację czyli odpiąć pena i zmniejszyć wolumen / - niestety nie jest to takie proste. U mnie po prostu rozwaliłem system. Datego jak na razie polecam dodawać jako dodatkowy wolumen (tzn kolejny)a nie powiększać te które mamy.(Chyba że takiego wolumena nie będziecie wyciągać tzn pomniejszać z powrotem aby odzyskać pena,dysk)

[samba]

Wydaje mi się że jest to zależne od systemu plików.(przynajmniej nie znam innych rozwiązań)

Są systemy plików np zfs które potrafią takie rzeczy wyprawiać. Niestety standardowe linuksowe nie. Można implementować lvm i chyba jest to niezla droga

Przy okazji potrzebowalem miejsca na dysku i dodalem pendriva 8GB.Ze mam / na lvm i w jednej grupe dwa woluminy logiczne (tj. / i swap) to postanowiłem powiększyć VolLog00(czyli /) no i zainicjowalem fizyczny wolumin(sdb) potem powiększylem o cala wiekość pena i co - wszystko ładnie się powiększyło i można powiedzieć sukces.Ale

Chcąc odwrócic sytuację czyli odpiąć pena i zmniejszyć wolumen / - niestety nie jest to takie proste. U mnie po prostu rozwaliłem system. Datego jak na razie polecam dodawać jako dodatkowy wolumen (tzn kolejny)a nie powiększać te które mamy.(Chyba że takiego wolumena nie będziecie wyciągać tzn pomniejszać z powrotem aby odzyskać pena,dysk)

Ja kiedyś bawiłem się dawno temu LVM i zauważyłem że jak już coś zacznie się sypać to nie ma pomiłuj. O odzyskaniu danych raczej można zapomnieć. Chyba że od tamtego czasu coś się zmieniło to poprawcie mnie .

Szkoda że nie ma takiej możliwości serwery windows 2003 i 2008 mają coś takiego jak volume shadow copy i tam można zrobić wersjonowanie plików. Fajna sprawa gdy np user nadpisze jakiś plik lub chce się porównać jego zawartość. Akurat w mojej firmie przydałoby się takie rozwiązanie .

Jakbyście coś słyszeli i działałoby to na sambie to dajcie znać.

 

Dzięki

[hello_world]

Do lvm bardzo się przekonuję i nawet cieszę się że stało się to na moim kompie, a nie na serwerku lub u kogoś. Przynajmniej wiem że zmniejszanie woluminu na ext3 nie jest takie fajne.Z doświadczenia wiem że na xfs działa to wspaniale.

Możliwości o kŧórych piszesz posiada jeszcze brtfs (jest mozliwosc robienia migawek) ale trzeba by jeszce poczekać aby spać spokojnie po wdrozeniu tego fs .

Lvm posiada również coś w rodzaju raid 1, Lvm jest ok tylko ja niedouczony

[samba]

Do lvm bardzo się przekonuję i nawet cieszę się że stało się to na moim kompie, a nie na serwerku lub u kogoś. Przynajmniej wiem że zmniejszanie woluminu na ext3 nie jest takie fajne.Z doświadczenia wiem że na xfs działa to wspaniale.

Możliwości o kŧórych piszesz posiada jeszcze brtfs (jest mozliwosc robienia migawek) ale trzeba by jeszce poczekać aby spać spokojnie po wdrozeniu tego fs .

Lvm posiada również coś w rodzaju raid 1, Lvm jest ok tylko ja niedouczony

Czy wrazie problemów dyskowych np bad sectory lub padnięcia dysku (gdy działa to na kontrolerze raid 5) lvm da się jakoś naprawić ? Kiedyś próbowałem odzyskać dane z takiego wolumenu .Z tego co pamiętam ciężko było znaleźć odpowiedni software a jak już nawet znalazłem to i tak danych nie widział. Tak wiec czy istnieje możliwość odzyskania danych ?

[Sofcik]

Czy wrazie problemów dyskowych np bad sectory lub padnięcia dysku (gdy działa to na kontrolerze raid 5) lvm da się jakoś naprawić ? Kiedyś próbowałem odzyskać dane z takiego wolumenu .Z tego co pamiętam ciężko było znaleźć odpowiedni software a jak już nawet znalazłem to i tak danych nie widział. Tak wiec czy istnieje możliwość odzyskania danych ?

 

A jaki konkretnie problem miałeś?

Bo wg mnie nie powinno być najmniejszego problemu z odzyskaniem danych z raid-5 sprzętowego i lvm. Przecież to kontroler zapewnia wyliczanie parzystości z poszczególnych stripe'ów. LVM dostaje physical volume już "po raid-5" i dopiero na tym tworzysz volume group i logical volume. Jeśli padnie jeden dysk to wszystko będzie działać - dostaniesz tylko alarm z kontrolera dyskowego że padł Ci fizycznie dysk. LVM do tego nic nie ma. A jeśli padnie 2 dyski w raid-5 to szanse na odzyskanie danych są mizerne.

Jeśli zaś chodzi o bad sectory to na ogół S.M.A.R.T. Ci to zalatwi - w logach masz też błędy S.M.A.R.T. i możesz odpowiednio wcześniej zareagować.

 

--

Pozdrawiam

Piotrek