Forum Debian Users Gang

badgerman · 2011-11-04 22:25:39

Witam - mam znowu problem z RAID5. Dziś rano włączyłem serwer i moim oczom ukazało się ni z tego ni z owego [_U_]

no więc sugerując się pewnym tutorialem zrobiłem

i moim oczom po kilkugodzinnej resynchronizacji ukazał się taki tekst:

Kod:

B-Serwer:/# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active (auto-read-only) raid5 sdd1[3](S) sdc1[1] sdb1[0]
      1953517568 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]

Moje pytanie jest teraz takie - czy da się jeszcze jakoś poskładać tę macierz do kupy tak aby nie poleciały z niej dane ?

Proszę o pomoc.

andreq · 2011-11-05 08:02:38

A co zrobiłeś sugerując się pewnym tutorialem, bo nie wkleiłeś?

Daj wynik

Kod:

mdadm --detail /dev/md0

oraz

Kod:

 fdisk -l

badgerman · 2011-11-05 11:22:16

uj - nie wiem czemu nie dopisało: wyzerowałem superbloki dysków

mdadm --zero-superblock /dev/sd[bcd]1

wynik mdadm --detail /dev/md0

Kod:

B-Serwer:/etc/mdadm# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sat Nov  5 11:49:36 2011
     Raid Level : raid5
     Array Size : 1953517568 (1863.02 GiB 2000.40 GB)
  Used Dev Size : 976758784 (931.51 GiB 1000.20 GB)
   Raid Devices : 3
  Total Devices : 3
    Persistence : Superblock is persistent

    Update Time : Sat Nov  5 11:49:36 2011
          State : clean, degraded
 Active Devices : 2
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 64K

           Name : B-Serwer:0  (local to host B-Serwer)
           UUID : cf17823a:7496052d:2212a684:45bdccab
         Events : 0

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       0        0        2      removed

       3       8       49        -      spare   /dev/sdd1

fdisk -l

Kod:

B-Serwer:/etc/mdadm# fdisk -l

Dysk /dev/sda: 30.2 GB, bajtów: 30206873600
głowic: 255, sektorów/ścieżkę: 63, cylindrów: 3672
Jednostka = cylindrów, czyli 16065 * 512 = 8225280 bajtów
Rozmiar sektora (logiczny/fizyczny) w bajtach: 512 / 512
Rozmiar we/wy (minimalny/optymalny) w bajtach: 512 / 512
Identyfikator dysku: 0x000d5940

Urządzenie Rozruch   Początek      Koniec   Bloków   ID  System
/dev/sda1               1        3672    29495308+  83  Linux

Dysk /dev/sdb: 1000.2 GB, bajtów: 1000204886016
głowic: 255, sektorów/ścieżkę: 63, cylindrów: 121601
Jednostka = cylindrów, czyli 16065 * 512 = 8225280 bajtów
Rozmiar sektora (logiczny/fizyczny) w bajtach: 512 / 512
Rozmiar we/wy (minimalny/optymalny) w bajtach: 512 / 512
Identyfikator dysku: 0x000d5940

Urządzenie Rozruch   Początek      Koniec   Bloków   ID  System
/dev/sdb1               1      121601   976760001   fd  Linux RAID autodetect

Dysk /dev/sdc: 1000.2 GB, bajtów: 1000204886016
głowic: 255, sektorów/ścieżkę: 63, cylindrów: 121601
Jednostka = cylindrów, czyli 16065 * 512 = 8225280 bajtów
Rozmiar sektora (logiczny/fizyczny) w bajtach: 512 / 512
Rozmiar we/wy (minimalny/optymalny) w bajtach: 512 / 512
Identyfikator dysku: 0x000c6a8b

Urządzenie Rozruch   Początek      Koniec   Bloków   ID  System
/dev/sdc1               1      121601   976760001   fd  Linux RAID autodetect

Dysk /dev/sdd: 1000.2 GB, bajtów: 1000204886016
głowic: 255, sektorów/ścieżkę: 63, cylindrów: 121601
Jednostka = cylindrów, czyli 16065 * 512 = 8225280 bajtów
Rozmiar sektora (logiczny/fizyczny) w bajtach: 512 / 512
Rozmiar we/wy (minimalny/optymalny) w bajtach: 512 / 512
Identyfikator dysku: 0x000e3c01

Urządzenie Rozruch   Początek      Koniec   Bloków   ID  System
/dev/sdd1               1      121601   976760001   fd  Linux RAID autodetect

Dysk /dev/md0: 2000.4 GB, bajtów: 2000401989632
głowic: 2, sektorów/ścieżkę: 4, cylindrów: 488379392
Jednostka = cylindrów, czyli 8 * 512 = 4096 bajtów
Rozmiar sektora (logiczny/fizyczny) w bajtach: 512 / 512
Rozmiar we/wy (minimalny/optymalny) w bajtach: 512 / 512
Identyfikator dysku: 0x00000000

Dysk /dev/md0 nie zawiera poprawnej tablicy partycji

a także to

Kod:

B-Serwer:/etc/mdadm# mdadm -E /dev/md0
mdadm: No md superblock detected on /dev/md0.
B-Serwer:/etc/mdadm# mdadm -E /dev/sdb1
/dev/sdb1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : cf17823a:7496052d:2212a684:45bdccab
           Name : B-Serwer:0  (local to host B-Serwer)
  Creation Time : Sat Nov  5 11:49:36 2011
     Raid Level : raid5
   Raid Devices : 3

 Avail Dev Size : 1953517954 (931.51 GiB 1000.20 GB)
     Array Size : 3907035136 (1863.02 GiB 2000.40 GB)
  Used Dev Size : 1953517568 (931.51 GiB 1000.20 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 9689ddeb:d57bf15d:4d15bf60:520fd976

    Update Time : Sat Nov  5 11:49:36 2011
       Checksum : c091a0b9 - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 0
   Array State : AA. ('A' == active, '.' == missing)
B-Serwer:/etc/mdadm# mdadm -E /dev/sdc1
/dev/sdc1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : cf17823a:7496052d:2212a684:45bdccab
           Name : B-Serwer:0  (local to host B-Serwer)
  Creation Time : Sat Nov  5 11:49:36 2011
     Raid Level : raid5
   Raid Devices : 3

 Avail Dev Size : 1953517954 (931.51 GiB 1000.20 GB)
     Array Size : 3907035136 (1863.02 GiB 2000.40 GB)
  Used Dev Size : 1953517568 (931.51 GiB 1000.20 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 31925cce:6a38811a:44e0c3f2:5bd81579

    Update Time : Sat Nov  5 11:49:36 2011
       Checksum : f3e1f9ea - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 1
   Array State : AA. ('A' == active, '.' == missing)
B-Serwer:/etc/mdadm# mdadm -E /dev/sdd1
/dev/sdd1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : cf17823a:7496052d:2212a684:45bdccab
           Name : B-Serwer:0  (local to host B-Serwer)
  Creation Time : Sat Nov  5 11:49:36 2011
     Raid Level : raid5
   Raid Devices : 3

 Avail Dev Size : 1953517954 (931.51 GiB 1000.20 GB)
     Array Size : 3907035136 (1863.02 GiB 2000.40 GB)
  Used Dev Size : 1953517568 (931.51 GiB 1000.20 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 196cea95:f339fc2c:b741acbf:6a13d1f6

    Update Time : Sat Nov  5 11:49:36 2011
       Checksum : 188e71e0 - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : spare
   Array State : AA. ('A' == active, '.' == missing)

Sądzę że jeśli by wymusić na SDD1 aby zaczął pamiętać że jest disk memberem 2 to by to ruszyło. tylko jak to zrobić?

Ostatnio edytowany przez badgerman (2011-11-05 11:54:45)

andreq · 2011-11-05 13:02:09

Wykonaj:

Kod:

madam --remove /dev/md0 /dev/sdd1
mdadm --add /dev/md0 /dev/sdd1

Nie masz czasem wpisu sda1 w pliku mdadm.conf w sekcji DEVICE, dla pewności wklej jego zawartość.

badgerman · 2011-11-05 16:12:49

polecenie powyższe nie daje rezultatu - macierz wraca do stanu pierwotnego czyli 2 dyski i jeden spare

konfig mdadm

Kod:

# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#
# by default, scan all partitions (/proc/partitions) for MD superblocks.
# alternatively, specify devices to scan, using wildcards if desired.
DEVICE partitions
# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes
# automatically tag new arrays as belonging to the local system
HOMEHOST <system>
# instruct the monitoring daemon where to send mail alerts
MAILADDR root
# definitions of existing MD arrays
# This file was auto-generated on Wed, 29 Dec 2010 21:20:58 +0100
# by mkconf $Id$
DEVICE /dev/sd[bcd]1
ARRAY /dev/md0 devices=/dev/sdb1,/dev/sdc1,/dev/sdd1
ARRAY /dev/md/0 metadata=1.2 UUID=bb13051e:986c3129:bd73a29c:81405a36 name=B-Serwer:0
   spares=2

andreq · 2011-11-05 17:14:20

Moim zdaniem mdadm.conf powinien wyglądać tak

Kod:

DEVICE /dev/sd[bcd]1
ARRAY /dev/md0 metadata=1.2 UUID=cf17823a:7496052d:2212a684:45bdccab

Masz zły UUID macierzy, zresztą i macierz masz nieprawidłową, bo /dev/md/0

A weź jeszcze wklej wynik:

Kod:

 mdadm --detail --scan

z dyskiem sdd1 i bez niego (opcja --remove)

badgerman · 2011-11-05 21:12:27

wyniki komendy:

Kod:

B-Serwer:/#  mdadm --detail --scan
ARRAY /dev/md0 metadata=1.2 spares=1 name=B-Serwer:0 UUID=cf17823a:7496052d:2212a684:45bdccab
B-Serwer:/# mdadm --rem /dev/md0 /dev/sdd1
mdadm: hot removed /dev/sdd1 from /dev/md0
B-Serwer:/#  mdadm --detail --scan
ARRAY /dev/md0 metadata=1.2 name=B-Serwer:0 UUID=cf17823a:7496052d:2212a684:45bdccab

zmieniłem konfig macierzy na podany - zobaczymy co będzie

edit:

zmieniłem config według zaleceń (po wywaleniu SDD1 z MD0)

wcześniej też było MD0

po reboocie i dodaniu SDD1 wygląda to tak:

Kod:

B-Serwer:/# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[3] sdb1[0] sdc1[1]
      1953517568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/2] [UU_]
      [>....................]  recovery =  0.2% (2252836/976758784) finish=1210.1min speed=13418K/sec

Martwi mnie deko ten dysk sdd1 jako [3] => nie powinien być jako [2] ?

edit:

no i tak jak sięobawiałem - poreperował rzekomo i wyniki są takie:

Kod:

B-Serwer:/# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[3](S) sdb1[0](F) sdc1[1]
      1953517568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/1] [_U_]

Cała konfiguracja która działała jest tu http://forum.dug.net.pl/viewtopic.php?pid=175232 . Moim zdaniem coś się z UUID namieszało - da się UUID zmienić ?

edit

rozwaliłem raida i złożyłem na nowo: znowu jest:

Kod:

 cat /proc/mdstat                                                                          Sun Nov  6 11:52:56 2011

Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[3] sdc1[1] sdb1[0]
      1953517568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/2] [UU_]
      [>....................]  recovery =  0.5% (5803528/976758784) finish=940.8min speed=17197K/sec

Boję się jednak że wróci do stanu jak było.
Zastanawia mnie tylko jendo: jeśli mam sytuacje UU_, to tak jakby była RAID5 zdegradowana. Czyli skorzystano z odporności na uszkodzenie jednego dysku - ciekawe czy jakbym włożył pustą terówkę to czu zrebilduje RAIDa ? Może po prostu sformatować tego /dev/sdd1 ?

Ostatnio edytowany przez badgerman (2011-11-06 11:51:39)

andreq · 2011-11-06 17:26:02

Dziwi mnie, że nie odbudowuje macierzy, tylko zostawia w stanie uszkodzonym.

Ten ostatni wpis jest OK, znaczy odbudowuje się macierz.
[quote=badgerman]Zastanawia mnie tylko jendo: jeśli mam sytuacje UU_, to tak jakby była RAID5 zdegradowana. Czyli skorzystano z odporności na uszkodzenie jednego dysku - ciekawe czy jakbym włożył pustą terówkę to czu zrebilduje RAIDa ? Może po prostu sformatować tego /dev/sdd1 ?[/quote]
Podstawą odbudowy jest założenie na dysku partycji typu fd, i dodanie go do macierzy przy pomocy mdadm, potem musisz dodać wpis o tym dysku do mdadm.conf - sekcja DEVICE.

Na sdd1 puść raczej badblocks, pamiętaj o wcześniejszym ustawieniu dysku jako fail a następnie usunięciu go z macierzy.

Może problemem u Ciebie jest błędny config mdadm.conf, ja robię go w taki sposób, że sekcję DEVICE dostosowuję do swoich dysków

Z tego co zobaczyłem teraz ;-) masz dwa wpisy DEVICE jeden "DEVICE partitions" drugi "DEVICE /dev/sd[bcd]1" - zostaw tylko ten drugi

Sekcję ARRAY mam identyczną z tym co wypisuje

Kod:

mdadm --detail --scan

badgerman · 2011-11-09 10:49:40

no więc tak:
SDA - bad blocki - poważne.
Wymieniłem na inny dysk 1 TB, zrobiłem partycję type FD

mdadm --stop /dev/md1
mdadm --create /dev/md0 --chunk=64 --level=5 --raid-devices=3 missing /dev/sdc1 /dev/sdd1
mdadm --add /dev/md0 /dev/sdb1

po 20 godzinach niby

Kod:

B-Serwer:/# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[3] sdc1[1] sdb1[0]
      1953517568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/3] [UUU]

unused devices: <none>

jednakże próba

mount /dev/md0

zakończyła się niepowodzeniem

próbowałem

Kod:

B-Serwer:/# e2fsck /dev/md0
e2fsck 1.41.12 (17-May-2010)
e2fsck: Superblok błędny, próba użycia zapasowych bloków...
e2fsck: Bad magic number in super-block podczas próby otworzenia /dev/md0

superblok nie mógł być odczytany lub nie opisuje prawidłowego systemu
plików ext2. Jeżeli urządzenie jest prawidłowe i naprawdę zawiera
system plików ext2 (nie jest swapem, ufs-em ani niczym innym),
to superblok jest uszkodzony - można próbować uruchomić e2fsck z innym
superblokiem:
    e2fsck -b 8193 <urządzenie>

Szczegóły tego co teraz jest

Kod:

B-Serwer:/# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Tue Nov  8 14:25:11 2011
     Raid Level : raid5
     Array Size : 1953517568 (1863.02 GiB 2000.40 GB)
  Used Dev Size : 976758784 (931.51 GiB 1000.20 GB)
   Raid Devices : 3
  Total Devices : 3
    Persistence : Superblock is persistent

    Update Time : Wed Nov  9 10:41:54 2011
          State : clean
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           Name : B-Serwer:0  (local to host B-Serwer)
           UUID : 6ee08568:75097221:0b9ad673:d10140fe
         Events : 8

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       3       8       49        2      active sync   /dev/sdd1

jeszcze jedna rzecz:

Kod:

B-Serwer:/# mdadm --rem /dev/md0 /dev/sdd1
mdadm: hot remove failed for /dev/sdd1: Device or resource busy

Ostatnio edytowany przez badgerman (2011-11-13 21:42:17)

pasqdnik · 2011-11-09 11:12:33

AFAIR w RAID5 z 3 dysków może paść tylko jeden z nich aby macierz odbudować bez problemu. Z tego co widzę u kolegi padły w sumie 2 dyski.(Czy się mylę ??) IMO pozostają tylko zabawy z DMDE.

http://www.youtube.com/watch?v=3C4WvsHuLQU&feature=player_embedded

badgerman · 2011-11-09 12:57:17

no nie do końca padły 2. odpięły się na raz dwa ale fizycznie padł jeden. Czyli na 2 powinny być dane umożliwiające rebuild.

badgerman · 2011-11-10 17:24:28

No dobrze - bo powoli jednak potrzebuję ruszyć się jak nie w jedną to w drugą... Czy ktoś ma jakiś pomysł jak tu z tej macierzy dane odzyskać, czy pozostaje mi format ?

Time (s)	Query
0.00007	SET CHARSET latin2
0.00004	SET NAMES latin2
0.00069	SELECT u., g., o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='3.145.167.58' WHERE u.id=1
0.00167	REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '3.145.167.58', 1732759991)
0.00056	SELECT * FROM punbb_online WHERE logged<1732759691
0.00020	SELECT topic_id FROM punbb_posts WHERE id=185010
0.00024	SELECT id FROM punbb_posts WHERE topic_id=20000 ORDER BY posted
0.00040	SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=20000 AND t.moved_to IS NULL
0.00020	SELECT search_for, replace_with FROM punbb_censoring
0.00084	SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=20000 ORDER BY p.id LIMIT 0,25
0.00079	UPDATE punbb_topics SET num_views=num_views+1 WHERE id=20000
Total query time: 0.0057 s

Forum Debian Users Gang

Ogłoszenie

#1 2011-11-04 22:25:39

badgerman - Użytkownik

RAID 5 - ponowny problem

Kod:

#2 2011-11-05 08:02:38

andreq - Członek DUG

Re: RAID 5 - ponowny problem

Kod:

Kod:

#3 2011-11-05 11:22:16

badgerman - Użytkownik

Re: RAID 5 - ponowny problem

Kod:

Kod:

Kod:

#4 2011-11-05 13:02:09

andreq - Członek DUG

Re: RAID 5 - ponowny problem

Kod:

#5 2011-11-05 16:12:49

badgerman - Użytkownik

Re: RAID 5 - ponowny problem

Kod:

#6 2011-11-05 17:14:20

andreq - Członek DUG

Re: RAID 5 - ponowny problem

Kod:

Kod:

#7 2011-11-05 21:12:27

badgerman - Użytkownik

Re: RAID 5 - ponowny problem

Kod:

Kod:

Kod:

Kod:

#8 2011-11-06 17:26:02

andreq - Członek DUG

Re: RAID 5 - ponowny problem

Kod:

#9 2011-11-09 10:49:40

badgerman - Użytkownik

Re: RAID 5 - ponowny problem

Kod:

Kod:

Kod:

Kod:

#10 2011-11-09 11:12:33

pasqdnik - Pijak ;-P

Re: RAID 5 - ponowny problem

#11 2011-11-09 12:57:17

badgerman - Użytkownik

Re: RAID 5 - ponowny problem

#12 2011-11-10 17:24:28

badgerman - Użytkownik

Re: RAID 5 - ponowny problem

Stopka forum

Informacje debugowania