[RU-NGI] kernel tuning for RAID disks

[Valery Mitsyn]

On Fri, 1 Jun 2012, Victor Kotlyar wrote:

> Всем привет!
>
> Я начал копаться, почему скорость чтения с новых дисковых систем у нас не 
> очень большая, при одновременном считывании разных файликов и открыл для 
> себя настройки:
>
> /sys/block/sda/device/queue_depth
> /sys/block/sda/queue/nr_requests
> /sys/block/sda/queue/rq_affinity
> /sys/block/sda/queue/scheduler

  Для серверов до сих пор лучше всего работает "deadline"

> /sys/block/sda/queue/read_ahead_kb
>

В /etc/rc.d/rc.local на серверах:
echo "0" > /proc/sys/kernel/sched_interactive 2>/dev/null
echo "0" > /proc/sys/kernel/hung_task_timeout_secs 2>/dev/null
for d in sda sdb sdc sdd sde sdf sdg sdh sdi sdj sdk ; do
   test -e /sys/block/"$d"/queue/scheduler || continue
   echo "deadline" > /sys/block/"$d"/queue/scheduler
   test -e /sys/block/"$d"/queue/iosched/read_expire && \
     echo "`cat /sys/block/"$d"/queue/iosched/read_expire`" > \
             /sys/block/"$d"/queue/iosched/write_expire
   test -e /sys/block/"$d"/queue/iosched/writes_starved && \
     echo "1" > /sys/block/"$d"/queue/iosched/writes_starved
done

Хотя scheduler теперь ставлю в grub.conf.

>
> От сюда вопрос, кто-нибудь подобрал оптимальное соотношение этих параметров 
> для RAID систем на Adpatec контроллерах?
>
> Ещё, маленький вопросик в догонку, отключаете ли вы дисковый кэш на самих 
> дисках в RAID?

Нет.

>
> Может какие-то ещё спец настройки для дисковой системы на контроллерах 
> делаете?
>
> Например я попробовал монтировать xfs как
> rw,noatime,logbsize=256k,logbufs=8,inode64,swalloc,su=256k,sw=22
> (правда разницы не почувствовал пока)
>

  Где-то в гугле встречал опции при создании xfs, они могут
ускорить xfs, естественно с потерей устойчивости.
  У меня монтируется/ просто:
/dev/sdb1 /e/dcb01 xfs rw,nobarrier,noquota 0 0

>
> Спасибо заранее,
> Виктор
>
> p.s. подкрутив read_ahead_kb скорость чтения возросла с 0.8Гбит\с до 
> 1.4Гбит\с рандомных файлов большого объёма.

  Что вполне ожидаемо, когда много RAM'а.

>
> p.p.s. у нас 24 диска SATA 6.0 Gb/s ST33000650NS RAID6 на Adaptec 6405

  У Вас они через Expander подключены к одному 6405?

> _______________________________________________
> RU-NGI mailing list
> RU-NGI at theory.sinp.msu.ru
> http://theory.sinp.msu.ru/mailman/listinfo/ru-ngi
>

-- 
Best regards,
  Valery Mitsyn