у кого в работе 10Gb адаптеры на OES2/OES11 ?

[Dimerson]

собран стенд OES2SP3(+все фиксы) с одной стороны и OES11SP1(+все фиксы) с другой

2 шт IntelX540 однопортовые под витую пару.

OES11 понимает из коробки.
OES2 собран модуль с драйвером с сайта Интел (последний с соурсфоржа не брал ибо он хочет свежие ядра).

Работа либо через свитч либо кабелем напрямую из карты в карту Кабель категории 6.
10G поднимается.

IPERF на одном конце запущен iperf -s на другом iperf -c SERVER_IP -P5
резльтаты от 5 до 6,5 GB/sec ...

Это реально потолок ?

MTU с обоих сторон менял с дефолтных 1500 до 16111. Как-то слабо влияет на картину.
Оба стенда Asus P8Z77, камни i5.

В общем вопрос - 10 GB это сферическая скорость в вакууме или ее реально получить ?

[Павел Гарбар]

Если я правильно понимаю, то для 10 Гбит размер кадра может достигать 6 мегабайт. может на таких кадрах он и покажет большую скорость? Какие-нибудь BD-фильмы погонять...

[Dimerson]

1. chkconfig irq_balancing off
2. set_irq_affinity ethN (нужное имя интерфейса)

mtu=1500

когда сервер iperf на OES2 (клиент на оес11), имею окого 5ГБ/сек
если сервер на OES11 (клиент на ОЕС2) наблюдаю уже более веселую картину - около 9 гбит/сек

Похоже ядро оеса второго не содержит свежих плюшек и в полный рост отдать 10ГБ на Интеле не могет.

p.s. на стенде прокладку под оес2 подновил до SP4. ixgbe драйвер обновился и понимает из коробки x540.

[Dimerson]

Замутил на стенде inplace upgrade oes2 sp3 (evms root -> oes11 sp1. Это было весело но все получилось. iperf > 9Gb/s на mtu 1500 (в зад jumbo frames). Похоже так и будем делать.

[Dimerson]

В общем кому интересно дело с данными картами обстоит так:
драйвер может иметь несколько очередей на прием например и настраивать на каждую очередь свое прерывание. И с помощью скрипта можно разнести прерывания по своим ядрам. Про HT тут понятно дело не идет.

вот как это выглядит после set_irq_affinity eth2 :

test2:~ # cat /proc/interrupts | grep eth2
48: 1702912 0 0 0 IR-PCI-MSI-edge eth2-TxRx-0
49: 156 1657202 0 0 IR-PCI-MSI-edge eth2-TxRx-1
50: 119 0 1952081 0 IR-PCI-MSI-edge eth2-TxRx-2
51: 125 0 0 1959466 IR-PCI-MSI-edge eth2-TxRx-3
52: 2 0 0 0 IR-PCI-MSI-edge eth2:lsc

Видно, что каждое прерывание на своем ядре (на стенде i5 с 4 ядрами).

service irq_balancer off надо чтобы прерывания сами не гуляли туда-сюда.

у SLES10 (ядро 2.6.16 нет dca в нем), в 11 видим
test2:~ # dmesg | grep dca
[ 6.291032] dca service started, version 1.12.1

В общем как-то так. Еще 1 гвоздь в гроб OES2 ;o)