Forum Debian Users Gang

Torin · 2014-02-01 11:51:05

Cześć :|

Sprawa wygląda tak.
Jest sobie macierz FUJITSU ETERNUS_DXL na której stożony jest zasób do wykorzystania przeze mnie na serwerze. Zasób udostępnionych jest przez multipatch.
Serwer to też Fujitsu z kartami Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03), macierz podłączona jet do serwera po sas-ie.
No i kicha ni cholery nie wiidzę dysków w multipathu nijak.
Debian 7.3

Kod:

lsscsi pokazuje:
[0:2:0:0]    disk    LSI      RAID SAS 6G 0/1  2.13  /dev/sda 
[1:0:0:0]    disk    FUJITSU  ETERNUS_DXL      0000  -        
[2:0:0:0]    cd/dvd  TSSTcorp CDDVDW SN-208DN  FT00  /dev/sr0 
[8:0:0:0]    disk    FUJITSU  ETERNUS_DXL      0000  -

blkid:
/dev/sda5: UUID="3b7c61d6-109a-49de-9c7a-367e7141c2a1" TYPE="swap" 
/dev/sda1: UUID="1535c900-d8a7-495f-b6cc-8e6bbfc32355" TYPE="ext4"

scsi2ircu 0 display:
LSI Corporation SAS2 IR Configuration Utility.
Version 16.00.00.00 (2013.03.01) 
Copyright (c) 2009-2013 LSI Corporation. All rights reserved. 

Read configuration has been initiated for controller 0
------------------------------------------------------------------------
Controller information
------------------------------------------------------------------------
  Controller type                         : SAS2008
  BIOS version                            : 7.19.00.00
  Firmware version                        : 10.00.00.00
  Channel description                     : 1 Serial Attached SCSI
  Initiator ID                            : 0
  Maximum physical devices                : 511
  Concurrent commands supported           : 3440
  Slot                                    : Unknown
  Segment                                 : 0
  Bus                                     : 3
  Device                                  : 0
  Function                                : 0
  RAID Support                            : No
------------------------------------------------------------------------
IR Volume information
------------------------------------------------------------------------
------------------------------------------------------------------------
Physical device information
------------------------------------------------------------------------
Initiator at ID #0

Device is a Hard disk
  Enclosure #                             : 2
  Slot #                                  : 20
  SAS Address                             : 500000e-0-d030-ca06
  State                                   : Available (AVL)
  Manufacturer                            : FUJITSU 
  Model Number                            : ETERNUS_DXL     
  Firmware Revision                       : 0000
  Serial No                               : 0030CA
  GUID                                    : 600000e00d000000000030ca00000000
  Protocol                                : SAS
  Drive Type                              : SAS_HDD
------------------------------------------------------------------------
Enclosure information
------------------------------------------------------------------------
  Enclosure#                              : 1
  Logical ID                              : 500605b0:064c20d0
  Numslots                                : 8
  StartSlot                               : 0
  Enclosure#                              : 2
  Logical ID                              : 500000e0:d030ca7f
  Numslots                                : 25
  StartSlot                               : 0
------------------------------------------------------------------------
SAS2IRCU: Command DISPLAY Completed Successfully.
SAS2IRCU: Utility Completed Successfully.

multipatch.conf wygląda tak:

defaults {
    user_friendly_names    yes
}
blacklist {
    devnode "sda"
}
devices {
    device {
        vendor            "FUJITSU"
        product            "ETERNUS_DXL"
        prio            alua
        path_grouping_policy    group_by_prio
        path_selector        "round-robin 0"
        failback        immediate
        no_path_retry        0
        path_checker        tur
        dev_loss_tmo        2097151
        fast_io_fail_tmo    1
    }
}

A niestety multipatch -ll jest całkowicie pusty :((((
multipathd wystartowany.

Albo coś totalnie rozbię źle, albo coś nie tak z eksportem z macierzy :| tutaj na razie nie mogę nic zbadać, nie wiem jak to jest zrobione. Wiem tylko, że "udostępnione po multipath-ach" :|

Jako, że sprawa dla mnie mocno i dosłownie gardłowa - prosze nakierujcie mnie co jeszcze zbadać.

Torin

chmuri · 2014-02-01 12:21:20

Jaki to system jest?

Pavlo950 · 2014-02-01 12:25:11

[b]@chmuri[/b]
[quote=Torin]Debian 7.3[/quote]

Torin · 2014-02-01 12:26:36

Debian 7.3 wheezy

Jacekalex · 2014-02-01 13:59:21

Stawiasz od zera, czy może na własne oczy widziałeś, żeby to kiedyś działało?
W drugim przypadku przywróć poprzedni system z backupu, albo wsadź dyzia z poprzednim systemem, na którym działało.

A poza tym gardłowo musisz powęszyć w logach, w dmesg i kern.log, czy w ogóle wykrył prawidłowo urządzenie bez żadnych cyrków (logi sterowników),
i potem w messages i syslogu, żeby zobaczyć, co się dzieje z montowaniem.

Ostatnio edytowany przez Jacekalex (2014-02-01 14:00:57)

Torin · 2014-02-01 14:25:29

System stawiam od zera.
Kontrolery widzi (sa dwa) ale nic nie montuje. Podrzucę to co widzę.

Kod:

[    3.723958] mpt2sas0: Allocated physical memory: size(7263 kB)
[    3.723961] mpt2sas0: Current Controller Queue Depth(3227), Max Controller Queue Depth(3440)
[    3.723964] mpt2sas0: Scatter Gather Elements per IO(128)

[    3.956373] mpt2sas0: LSISAS2008: FWVersion(10.00.00.00), ChipRevision(0x03), BiosVersion(07.25.01.00)
[    3.956376] mpt2sas0: Protocol=(Initiator,Target), Capabilities=(TLR,EEDP,Snapshot Buffer,Diag Trace Buffer,Task Set Full,NCQ)
[    3.956709] mpt2sas0: sending port enable !!
[    3.956861] scsi8 : Fusion MPT SAS Host
[    3.957226] mpt2sas 0000:04:00.0: setting latency timer to 64
[    3.957230] mpt2sas1: 64 BIT PCI BUS DMA ADDRESSING SUPPORTED, total mem (8132504 kB)
[    3.957345] mpt2sas 0000:04:00.0: irq 93 for MSI/MSI-X
[    3.957368] mpt2sas1-msix0: PCI-MSI-X enabled: IRQ 93
[    3.957370] mpt2sas1: iomem(0x00000000fae00000), mapped(0xffffc90011808000), size(16384)
[    3.957373] mpt2sas1: ioport(0x000000000000c000), size(256)

[    4.403234] mpt2sas1: Allocated physical memory: size(7263 kB)
[    4.403238] mpt2sas1: Current Controller Queue Depth(3227), Max Controller Queue Depth(3440)
[    4.403240] mpt2sas1: Scatter Gather Elements per IO(128)
[    4.630567] usb 2-1.5.3: new low-speed USB device number 4 using ehci_hcd
[    4.634940] mpt2sas1: LSISAS2008: FWVersion(10.00.00.00), ChipRevision(0x03), BiosVersion(07.25.01.00)
[    4.634945] mpt2sas1: Protocol=(Initiator,Target), Capabilities=(TLR,EEDP,Snapshot Buffer,Diag Trace Buffer,Task Set Full,NCQ)
[    4.635171] mpt2sas1: sending port enable !!

[    4.807539] scsi: waiting for bus probes to complete ...
[    5.457171] mpt2sas0: host_add: handle(0x0001), sas_addr(0x500605b0064c20d0), phys(8)
[    5.482526] mpt2sas0: expander_add: handle(0x0009), parent(0x0001), sas_addr(0x500000e0d030ca7f), phys(25)
[    5.490853] scsi 1:0:0:0: Direct-Access     FUJITSU  ETERNUS_DXL      0000 PQ: 1 ANSI: 5
[    5.490871] scsi 1:0:0:0: SSP: handle(0x000a), sas_addr(0x500000e0d030ca06), phy(20), device_name(0x0000000000000000)
[    5.490874] scsi 1:0:0:0: SSP: enclosure_logical_id(0x500000e0d030ca7f), slot(20)
[    5.490878] scsi 1:0:0:0: qdepth(254), tagged(1), simple(0), ordered(0), scsi_level(6), cmd_que(1)
[    6.243266] mpt2sas1: host_add: handle(0x0001), sas_addr(0x500605b0064c2110), phys(8)
[    6.269071] mpt2sas1: expander_add: handle(0x0009), parent(0x0001), sas_addr(0x500000e0d030caff), phys(25)
[    6.277681] scsi 8:0:0:0: Direct-Access     FUJITSU  ETERNUS_DXL      0000 PQ: 1 ANSI: 5
[    6.277687] scsi 8:0:0:0: SSP: handle(0x000a), sas_addr(0x500000e0d030ca86), phy(20), device_name(0x0000000000000000)
[    6.277690] scsi 8:0:0:0: SSP: enclosure_logical_id(0x500000e0d030caff), slot(20)
[    6.277694] scsi 8:0:0:0: qdepth(254), tagged(1), simple(0), ordered(0), scsi_level(6), cmd_que(1)
[   11.704485] mpt2sas0: port enable: SUCCESS
[   11.704794] scsi 1:0:0:0: Attached scsi generic sg2 type 0
[   12.490946] mpt2sas1: port enable: SUCCESS
[   12.491210] scsi 8:0:0:0: Attached scsi generic sg3 type 0

mpt2sas0: LSISAS2008: FWVersion(10.00.00.00), ChipRevision(0x03), BiosVersion(07.17.00.04)
mpt2sas0: Protocol=(Initiator,Target), Capabilities=(TLR,EEDP,Snapshot Buffer,Diag Trace Buffer,Task Set Full,NCQ)
mpt2sas0: sending port enable !!
scsi8 : Fusion MPT SAS Host
mpt2sas 0000:04:00.0: setting latency timer to 64
mpt2sas1: 64 BIT PCI BUS DMA ADDRESSING SUPPORTED, total mem (8132504 kB)
mpt2sas 0000:04:00.0: irq 93 for MSI/MSI-X
mpt2sas1-msix0: PCI-MSI-X enabled: IRQ 93
mpt2sas1: iomem(0x00000000fae00000), mapped(0xffffc90011808000), size(16384)
mpt2sas1: ioport(0x000000000000c000), size(256)

linux kernel: [   15.582184] device-mapper: multipath: version 1.3.1 loaded
linux kernel: [   15.608653] loop: module loaded

:( kurde nic złego ine widzę ....

Torin coraz bardziej zamotany ...

Jacekalex · 2014-02-01 14:51:06

Spróbuj CentOSa na początek, ma dużo starsze jajo, i jest zgodny z Red-hat binarnie.

W Debianie możesz spróbować nowsze/starsze jajo, bo coś mi się zdaje, ze sterownik kuleje.
Z którego roku jest ten sprzęt?
Pytam, bo same kontrolery zbyt popularne chyba nie są (mam na myśli - w powszechnym użyciu).

EDIT:
Jednak jest w miarę sławny ten kontroler LSI MPT2 SAS (o ile to ten model):
https://www.centos.org/forums/viewtopic.php?t=14165

Właśnie się dowiedziałem, ze w 2009 na RHEL-5.3 chodził,
a na CentOSie 5.3 już nie.
Jednym słowem, wsparcie w Linuxie wzorowe ;P

Tu opis steru do pracy na komercyjnych Linuxach RPMowych:
https://www.lsi.com/downloads/Public/Nytro/downloads/Nytro%20WarpDrive/Drivers/Linux/107.00.00.00/Readme_For_LinuxDriver_Installer_For_RHEL_OEL_SLES.txt

Ten ster ma możliwość ustawiania poziomów logowania, radziłbym dać maksymalny, możliwy.

A tu zabawa na Wheezy, moduł ładuje się za wcześnie:
http://unix.stackexchange.com/questions/55851/how-to-skip-exclude-one-scsi-bus-from-scanning-during-boot
Jest w tym wątku conieco o sprawdzaniu w /sys.

W sterze masz dwa interesujące parametry:
[quote="modinfo mpt2sas"].....
parm: logging_level: bits for enabling additional logging info (default=0)
.....
parm: mpt2sas_fwfault_debug: enable detection of firmware fault and halt firmware - (default=0)[/quote]
Należy ich użyć w opcjach ładowania sterownika, albo z palca, albo w konfigu w /etc/modprobe.d

Przy okazji, instalowałeś do tych kontrolerów firmware?
Bo prawdopodobnie jakichś wymagają, a Debian nie dodaje binarnych blobów i firmwarów do kernela, trzeba je instalować osobno.

Na razie piszę o jednym kontrolerze mpt2sas.

Ostatnio edytowany przez Jacekalex (2014-02-01 15:21:32)

chmuri · 2014-02-01 15:13:17

Jacek to ja powinienem to napisać...;)

Hi hi centos..:D:D "A nie mówiłem"

Jacekalex · 2014-02-01 15:31:27

[quote=chmuri]Jacek to ja powinienem to napisać...;)

Hi hi centos..:D:D "A nie mówiłem"[/quote]
Cieszysz się, jak gł.pi do sera.

CentOS ma jajo 2.6.18 albo 2.6.32 a te kontrolery są w obiegu od kilku lat, dlatego zaproponowałem.

Ja bym zaczął osobiście od debugowania sterownika, ale skąd mogę wiedzieć, co nasz Pacjent wie o Linuxie, skoro stabilnego Debiana uczą nawet w technikum?

Przy okazji, w Gentoo z modułem mpt2sas też różne cyrki były.
Ten moduł mpt2sas potrafi się "awanturować" nawet z modułem usb_storage. :D

Torin · 2014-02-01 18:02:28

Pacjent wmiare kumaty ;) próbował już to na Slacku ugryźć ale zupełnie nie poszlo :) motanie z multipath-em było za duże.
Trop ze sterownikiem jest do zbadania. Wolałbym nie przeinstalowac systemu. Mam do niego 195 km w jedną strone :)
Badania zacznę wieczorem jak wroce do kompa.
Dzięki za zainteresowanie !!!

Torin · 2014-02-01 20:40:36

Wykonanie modprobe mpt2sas logging_level=0x80000 daje taki wynik.

Kod:

mpt2sas1: Allocated physical memory: size(2449 kB)
mpt2sas1: Current Controller Queue Depth(2787), Max Controller Queue Depth(3440)
mpt2sas1: Scatter Gather Elements per IO(32)
mpt2sas1: LSISAS2008: FWVersion(10.00.00.00), ChipRevision(0x03), BiosVersion(07.25.01.00)
mpt2sas1: Protocol=(Initiator,Target), Capabilities=(TLR,EEDP,Snapshot Buffer,Diag Trace Buffer,Task Set Full,NCQ)
mpt2sas1: sending port enable !!
mpt2sas1: host_add: handle(0x0001), sas_addr(0x500605b0064c2110), phys(8)
mpt2sas1: expander_add: handle(0x0009), parent(0x0001), sas_addr(0x500000e0d030caff), phys(25)
scsi 14:0:0:0: scsi scan: INQUIRY pass 1 length 36
scsi scan: INQUIRY successful with code 0x0
scsi 14:0:0:0: scsi scan: INQUIRY pass 2 length 96
scsi scan: INQUIRY successful with code 0x0
scsi 14:0:0:0: Direct-Access     FUJITSU  ETERNUS_DXL      0000 PQ: 1 ANSI: 5
scsi 14:0:0:0: SSP: handle(0x000a), sas_addr(0x500000e0d030ca86), phy(20), device_name(0x0000000000000000)
scsi 14:0:0:0: SSP: enclosure_logical_id(0x500000e0d030caff), slot(20)
scsi 14:0:0:0: qdepth(254), tagged(1), simple(0), ordered(0), scsi_level(6), cmd_que(1)
scsi scan: Sending REPORT LUNS to host 14 channel 0 id 0 (try 0)
scsi scan: REPORT LUNS successful (try 0) result 0x0
scsi 14:0:0:0: scsi scan: REPORT LUN scan
mpt2sas1: port enable: SUCCESS
scsi 14:0:0:0: Attached scsi generic sg3 type 0

Nic jakiegoś super naprowadzającego nie widzę ..
A dysków jak nie było tak ni ma ale to nie dziwne bo nic nie zmieniałem :)

Torin

chmuri · 2014-02-02 08:24:08

Sterowniki są aktualne? A jakie masz jajo tam? Czy ono na pewno wspiera ten "najnowszy" sprzęt?

Jacekalex · 2014-02-02 08:33:40

parm: mpt2sas_fwfault_debug: [b]enable detection of firmware fault and halt firmware[/b] - (default=0)[/quote]
A to sprawdziłeś?

Bo moim zdaniem kluczowe jest [b]fault and halt firmware[/b]
i od tego bym zaczął całe szukanie błędów.

Ostatnio edytowany przez Jacekalex (2014-02-02 08:35:37)

W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)

Time (s)	Query
0.00009	SET CHARSET latin2
0.00005	SET NAMES latin2
0.00100	SELECT u., g., o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='18.191.189.124' WHERE u.id=1
0.00070	REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '18.191.189.124', 1733056008)
0.00058	SELECT * FROM punbb_online WHERE logged<1733055708
0.00058	DELETE FROM punbb_online WHERE ident='3.142.53.151'
0.00069	DELETE FROM punbb_online WHERE ident='3.145.72.44'
0.00066	SELECT topic_id FROM punbb_posts WHERE id=254565
0.00175	SELECT id FROM punbb_posts WHERE topic_id=25127 ORDER BY posted
0.00057	SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=25127 AND t.moved_to IS NULL
0.00005	SELECT search_for, replace_with FROM punbb_censoring
0.00130	SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=25127 ORDER BY p.id LIMIT 0,25
0.00084	UPDATE punbb_topics SET num_views=num_views+1 WHERE id=25127
Total query time: 0.00886 s

Forum Debian Users Gang

Ogłoszenie

#1 2014-02-01 11:51:05

Torin - Użytkownik

Duuuży (oby nie ;) problem z macierzą SAS

Kod:

#2 2014-02-01 12:21:20

chmuri - [=Centos=]

Re: Duuuży (oby nie ;) problem z macierzą SAS

#3 2014-02-01 12:25:11

Pavlo950 - człowiek pasjonat :D

Re: Duuuży (oby nie ;) problem z macierzą SAS

#4 2014-02-01 12:26:36

Torin - Użytkownik

Re: Duuuży (oby nie ;) problem z macierzą SAS

#5 2014-02-01 13:59:21

Jacekalex - Podobno człowiek...;)

Re: Duuuży (oby nie ;) problem z macierzą SAS

#6 2014-02-01 14:25:29

Torin - Użytkownik

Re: Duuuży (oby nie ;) problem z macierzą SAS

Kod:

#7 2014-02-01 14:51:06

Jacekalex - Podobno człowiek...;)

Re: Duuuży (oby nie ;) problem z macierzą SAS

#8 2014-02-01 15:13:17

chmuri - [=Centos=]

Re: Duuuży (oby nie ;) problem z macierzą SAS

#9 2014-02-01 15:31:27

Jacekalex - Podobno człowiek...;)

Re: Duuuży (oby nie ;) problem z macierzą SAS

#10 2014-02-01 18:02:28

Torin - Użytkownik

Re: Duuuży (oby nie ;) problem z macierzą SAS

#11 2014-02-01 20:40:36

Torin - Użytkownik

Re: Duuuży (oby nie ;) problem z macierzą SAS

Kod:

#12 2014-02-02 08:24:08

chmuri - [=Centos=]

Re: Duuuży (oby nie ;) problem z macierzą SAS

#13 2014-02-02 08:33:40

Jacekalex - Podobno człowiek...;)

Re: Duuuży (oby nie ;) problem z macierzą SAS

#14 2014-02-02 12:59:48

Torin - Użytkownik

Re: Duuuży (oby nie ;) problem z macierzą SAS

#15 2014-02-02 15:17:07

Jacekalex - Podobno człowiek...;)

Re: Duuuży (oby nie ;) problem z macierzą SAS

Kod:

Kod:

#16 2014-02-02 20:55:56

Torin - Użytkownik

Re: Duuuży (oby nie ;) problem z macierzą SAS

Kod:

#17 2014-02-02 21:46:35

Jacekalex - Podobno człowiek...;)

Re: Duuuży (oby nie ;) problem z macierzą SAS

#18 2014-02-02 21:56:55

Torin - Użytkownik

Re: Duuuży (oby nie ;) problem z macierzą SAS

#19 2014-02-02 22:05:48

Jacekalex - Podobno człowiek...;)

Re: Duuuży (oby nie ;) problem z macierzą SAS

#20 2014-02-02 22:07:40

Torin - Użytkownik

Re: Duuuży (oby nie ;) problem z macierzą SAS

#21 2014-02-02 22:21:37

Jacekalex - Podobno człowiek...;)

Re: Duuuży (oby nie ;) problem z macierzą SAS

Stopka forum

Informacje debugowania