proNovell

Привет Олл !

У меня в работе довольно много Супермикры но они все X10.

Тут прибыл новый 1U SYS-5019C-WR с MB Super X11SCW-F.
Дисковая подсистема в виде LSI Megaraid SAS 9361-4i и 2-х SSD от Samsung.

Сразу по включению он кулерами циклически то поднимет обороты (до тех, что у него когда он в BIOS ), то через несколько минут вернет до нормальных.
У него обороты регулируются только через IPMI (в BIOS вкладка Motherboard Health отсутствует как класс).

Как ни странно - но несколько раз запустив/остановив SuperDoctor5 (количество запусков зависит от фаз луны) обороты нормализуются. Поведение одинаково и под Windows (пробовал Win10 22H2 и OES2015 SP1 ).


Вообще у него 3 уровня оборотов кулеров:
ipmitool raw 0x30 0x45 0x01 0x00 - DEFAULT
ipmitool raw 0x30 0x45 0x01 0x00 - FULL (идем на взет)
ipmitool raw 0x30 0x45 0x01 0x04 - HeawyIO (примерно как во время нахождения в BIOS).

Что еще интересно.
Когда обороты нормальные (и в момент нормализации в циклическом загоне и когда совсем нормализовались), датчики читаются нормально.

ipmitool sensor list | grep FAN
FAN1 | 3600.000 | RPM | ok | 500.000 | 600.000 | 700.000 | 25300.000 | 25400.000 | 25500.000
FAN2 | 3500.000 | RPM | ok | 500.000 | 600.000 | 700.000 | 25300.000 | 25400.000 | 25500.000
FAN3 | 3500.000 | RPM | ok | 500.000 | 600.000 | 700.000 | 25300.000 | 25400.000 | 25500.000
FAN4 | 3600.000 | RPM | ok | 500.000 | 600.000 | 700.000 | 25300.000 | 25400.000 | 25500.000
FAN5 | na | | na | na | na | na | na | na | na
FAN6 | 3700.000 | RPM | ok | 500.000 | 600.000 | 700.000 | 25300.000 | 25400.000 | 25500.000

В момент тогог когда обороты ненормальны читается воздух:
ipmitool sensor list | grep FAN
FAN1 | na | | na | 500.000 | 600.000 | 700.000 | 25300.000 | 25400.000 | 25500.000
FAN2 | na | | na | 500.000 | 600.000 | 700.000 | 25300.000 | 25400.000 | 25500.000
FAN3 | na | | na | 500.000 | 600.000 | 700.000 | 25300.000 | 25400.000 | 25500.000
FAN4 | na | | na | 500.000 | 600.000 | 700.000 | 25300.000 | 25400.000 | 25500.000
FAN5 | na | | na | na | na | na | na | na | na
FAN6 | na | | na | 500.000 | 600.000 | 700.000 | 25300.000 | 25400.000 | 25500.000

Иногда проскакивает в этот момент Error obtaining SDR info: BMC initialization in progress. Unable to open SDR for reading'

При этом IPMI продолжает работать и через WWW и ipmiview.

В общем подскажите куда копать ? Если бы SD5 не вправлял мозги то было бы даже проще думаю.

UPD:

Похоже что SD5 в процессе запуска опрашивает железо и дергает для опроса RAID контроллера
/opt/Supermicro/SuperDoctor5/libs/native/storcli64 /call show all

И если этот запуск совпадает с нормальным состоянием кулеров (при пульсации оборотов) то все устаканивается.
Может что-то с MCTP ?

Не гуру, но собирал во время оно себе сервер, чтобы был максимально тихим (стоял, фактически, в спальне), там был кулер с вентилятором 140 мм, который крутился на 200, что-ли, оборотов... Собиралось ровно на Supermicro X10 какой-то (LGA2011-3), как раз была шляпа с "взлетом" вентилятора. Починил принудительной установкой через CLI минимальных оборотов в 150. Команду точную не помню, гуглить надо.
Вообще может посмотреть в сторону прошивок? Тот же BMC шьется, насколько я помню.

Все прошивки соследние. И bios и bmc и фирмварь раида. Таки многократное дерганье storcli64 /call show all нормализует обороты.

Пытаюсь понять и не могу: причем тут storcli64? Не пробовали, действительно, зашить в IPMI пониженные обороты работы вентиляторов?

Сдается мне что проблема в неотключаемом MCTP протоколе в прошивке супермикры.
ВMC опрашивает все подряд и спотыкается по MCTP на стороннем раиде.

При этом остальные сенсоры отваливаются. Читал про подобное на iLO у HP.
Там лечилось отключением MCTP.

storcli умеет общаться по mctp со своим раидом и после удачного обмена все у BMC нормализуется.

Это только гипотеза. Супермикра послала с саппортом а прикидываться албанцем и регаться через впн было лень.

Слава богу скрипт регенерирующий бмц работает. Можно в продакшн.

Мде... Супермикра таки тоже превратилась в фуфел, как интель во время оно?

Дык супермикра она же из юсей.

Я, собственно, о том, что в свое время так и не смог запустить материнку с SR2100 - потому, что FRU и BMC на матери надо было прошить "правильной" прошивкой ДО момента ее запуска в этом корпусе. Из-за особенностей матери (питание E-ATX) найти другой БП так и не смог, в итоге так и остался без сервера.
Подобное, насколько я помню, было вообще не редкостью для "интеловской платформы" - тогда это словосочетание прям выворачивало... "Платформа", которую надо просто обработать напильником.
Вот именно тогда и собирался на супермикрах, которые просто работали: если уж написано, что корпус и мать совместимы, то достаточно их подключить и они гарантированно заведутся. У того интеля же SR2100 стоял в "настоятельно рекомендованных" в конфигураторе
Юэсэй у супермикры - только красная точка и название, сборка, 100%, давно китайская. Прошивки, видимо, тоже оттуда же - ну или тамошние "дефективные менеджеры" переняли положительный суперопыт боенха и нанимают студентов писать за еду...