hugepage

[XsoWie]

прошу включить в ядре hugepage

[Barvinok]

Прикольно.
Я включал для PGSQL, но разницы, признаюсь, не заметил.
А чем это может быть полезно для WTW?

[aka]

Во-во, зачем это терминалу? Чтоб Chromium на гигабайте не работал?

[XsoWie]

А чем это может быть полезно для WTW?

для WTW не знаю чем.
для пакетов extra надо.
оно походу и так включено. так что по хугам вопрос снят.

а вот регистры MSR править не получается ((
wrmsr в сегфаулт падает с руганью на libc, при попытке изменить, из пакета extra
надо какойто особый wrmsr?

Во-во, зачем это терминалу? Чтоб Chromium на гигабайте не работал?

гигабайт, тут что имеется в виду? и почему оно перестанет работать?

[aka]

Гигабайт оперативной памяти. Когда-то Хром запускался на полгигабайте. Сейчас магии стало больше, но хром толстеет быстрее и на гиге взлетает всё неувереннее.

Ты бы сначала архитектуру указывал (x86,x64,arm), про которую пишешь, а потом все эти умные слова.

[XsoWie]

Ты бы сначала архитектуру указывал (x86,x64,arm)

x64

собрал extra с wrmsr из пакета msr-tools

говорю ему исполни:
wrmsr -a 0xc0011020 0
wrmsr -a 0xc0011021 0x40
wrmsr -a 0xc0011022 0x1510000
wrmsr -a 0xc001102b 0x2000cc16
и получаю сегфаулт с руганью на libc

[aka]

X86_MSR при сборке ядра для x64 втвари не выбран. Т.е. файла /dev/cpu/*/msr нет, прикладная программа рулить MSR не может.

Зачем это терминалу?

[XsoWie]

прикладной софт из экстра отрабатывает в два раза шустрее, если ему эти параметры скормить.
было бы хорошо, если включить.

[aka]

Прикладной, неграфический софт в два раза быстрее из-за настройки процессора? Вот бы про это почитать...

[XsoWie]

ну вот люди мнением деляться
https://linustechtips.com/topic/1201012 ... ujcnBszQil
вот оракл к своим сервакам рекомендации дает
https://docs.oracle.com/cd/E19962-01/ht ... gljyu.html
тут хаявей рекомендует включить
https://support.huawei.com/enterprise/e ... on-of-bios

мне как раз отключить надо. на матери нет настройки на отключение в bios (((

[XsoWie]

а можно хоть намек, будет включен или нет. а то как то неопределенность подвисла ((
ждать или не ждать, вот в чем вопрос.

[aka]

Да. Сейчас только соберу всё в кучу и выложу попробовтаь.

[XsoWie]

спасибо

[aka]

Собрал. Попробуй 6.0.58.

[XsoWie]

Собрал. Попробуй 6.0.58.

хм. чот не подгружается модуль ((
modprobe msr выдает
EXTRA] [ 8.417476] modprobe: can't open 'modules.dep': No such file or directory

lsmod выдает
21-59-26-133| [ EXTRA] [ 8.417765] Module Size Used by Not tainted
21-59-26-133| [ EXTRA] [ 8.417767] nouveau 2150400 -
21-59-26-137| [ EXTRA] [ 8.417767] i2c_algo_bit 16384 -
21-59-26-137| [ EXTRA] [ 8.417775] drm_kms_helper 204800 -
21-59-26-137| [ EXTRA] [ 8.417776] syscopyarea 16384 -
21-59-26-137| [ EXTRA] [ 8.417776] sysfillrect 16384 -
21-59-26-137| [ EXTRA] [ 8.417777] sysimgblt 16384 -
21-59-26-137| [ EXTRA] [ 8.417777] fb_sys_fops 16384 -
21-59-26-137| [ EXTRA] [ 8.417777] ttm 81920 -
21-59-26-137| [ EXTRA] [ 8.417778] drm 393216 -
21-59-26-137| [ EXTRA] [ 8.417778] r8169 98304 -

[aka]

Оно в ядро должно быть вкомпилировано.

[XsoWie]

Оно в ядро должно быть вкомпилировано.

ну чот нифига ((
а можно скомпилиный msr.ko выложить? я его руками прогружу да и все.

[aka]

Модуль msr в ядре. Запущен. Работает. Запусти командную строку из меню Setup и сделай:

ls -l /dev/cpu/0/

Будет файл msr. У каждого ядра свой. Если только ты запускаешь 6.0.58 втварь для x64.

Давай ближе к проблеме. Как именно пишется "сегфаулт с руганью на libc" ?

[XsoWie]

сегфаулта больше нет.
правки в регистры внес, все норм.
я не пойму почему бинарник ругается на отсутствие модуля (((
соберу щас сам, подкину, погляжу

[XsoWie]

плохо без консоли. так бы в реалтайме проверял. телнет бы вернуть. или ssh какой собрать подкинуть попробовать

[aka]

На x86 консоль есть. На малине консоль есть. Включается волшебным словом telnetd в командной строке ядра.

На x64 консоли нет потому что нет загрузчика, некому передать командную строку ядра. Теоретически можно настроить UEFI, UEFI это же мегасложная штука и настроек у неё куча, только их не умеет никто.

Как ещё сказать терминалу запускать telnetd, чтобы ничего лишщнего не усложнять? Пункт меню Setup выносить не хочу, не стоит оно того. Можно сделать например "extra=telnetd", ключевое слово, по которому качаться ничего не будет, а запустится telnetd.

[XsoWie]

а пакеты extra какие привилегии имеют? wtware вообще там разделятеся как то запуск по привилегиям? может бинарнику просто прав не хватает? я уже готов сдаться (((

[aka]

extra= под рутом запускается. Всё может.

[XsoWie]

Ну, в этой ситуации мы просто, наша, это самое, мы уже здесь, наши полномочия всё ((
модуль собрал, получаю
KERNEL] [ 8.354465] msr: version magic '5.10.70 SMP mod_unload modversions ' should be '5.10.70 SMP '
vermagic ругается.
все. я сдался. последняя надежда на родной (при сборке) msr.ko
и если и с ним откажется работать. значит не судьба.

[aka]

Какой-то ты ерундой занимаешься. Нельзя всунуть в ядро модуль, который собирался без ядра. Проблема в чем?

[XsoWie]

все таже проблема.
бинарник из extra говорит что msr kernel module is not available
хотел ему подсунуть kernel module чтоб был available
а msr.ko отсутствует в наличии.

[aka]

А на свежем дебиане на этой же железке это работает?
А если на свежем дебиане модуль запустить ДО запуска бинарника, чтобы бинарник никак не мог запустить модуль заново - работает?
Доступа к авторам бинарника нет?

[XsoWie]

на дебиане работает, msr.ko лежит в /lib/modules/5.10.0-9-amd64/kernel/arch/x86/kernel
не понял как запустить модуль ДО запуска бинарника?
modprobe msr говорит что нету такого модуля (modprobe: can't open 'modules.dep': No such file or directory)
insmod требует чтобы msr.ko присутствовал в системе ))
доступ к авторам есть. и исходники на гитхабе лежат.

[aka]

на дебиане работает, msr.ko лежит в /lib/modules/5.10.0-9-amd64/kernel/arch/x86/kernel
не понял как запустить модуль ДО запуска бинарника?
modprobe msr говорит что нету такого модуля (modprobe: can't open 'modules.dep': No such file or directory)
insmod требует чтобы msr.ko присутствовал в системе ))

На дебиане запусти модуль руками. Тот, который лежит в...

И потом, на дебиане, когда модуль уже будет запущен (и софтина никак не сможет запустить его второй раз), запусти софтину. На дебиане.

Будет работать?

доступ к авторам есть. и исходники на гитхабе лежат.

Дык ссылку покажи.

И я правильно понимаю, что wrmsr в extra= под втварью сейчас корректно отрабатывает, не ругается?

[XsoWie]

Будет работать?

тут все работает

Дык ссылку покажи.

https://github.com/docker-library/postgres

И я правильно понимаю, что wrmsr в extra= под втварью сейчас корректно отрабатывает, не ругается?

да. wrmsr отрабатывает правильно. я протупил. бинарник пытался сам эти значения прописать, и у него не получалось. отключил это в бинарнике. и скрипт из extra пишет их. тут все норм.

вопрос осталcя по hugepage всетаки. вернулись к началу.
походу в ядре оно не включено всетаки
ls /sys/kernel/mm
консль wtware показывает тут только наличие swap
transparent_hugepage отсутствует

можно его всетки включить в ядре? пожалста ))))

[aka]

Насколько я понимаю, hugepages - это про много памяти и своп. Если у нас 100500 гигов, то целесообразно кидать в своп куски по два мегабайта вместо дефолтных 4K, чтобы таблицы, описывающие, какой кусок в памяти а какой в свопе, были покороче.

У тебя такая могучая экстра, что ложится в своп? А своп вообще есть?

[XsoWie]

а как позырить без консоли есть чего в свопе или нет?
екстра планируется экстраординарная ))
вебинтерфейс же. посмотрел. есть маленько. 32gb оперативы. маленько в свопе лежит.

[aka]

А своп куда?

Если втварь грузится по сети или с флешки, у неё будет своп. Сжатый. Магия 78 уровня - свопить память в память. Реально помогает запустить хром на гигабайте. Но оно помогает пока туда склдывается ненужное. Как только с памятью становится совсем плохоо и в этот своп начинает ложиться нужное - начинается жуткое торможение, работать больше невозможно. С твоей экстраординарной экстрой то же самое будет.

Если втварь грузится с жесткого диска большого объема, своп будет обычный на диск.

[XsoWie]

по сетке грузиться втварь.
постргю же можно ограничить по памяти.
просто смысл такой.
обновили парк)))
и теперь в сети есть 25 тонких клиентов на втвари с пятыми райзенами и 32гигами озу на борту.
не спрашивай зачем и почему. привет и спасибо снабженцам и планировщикам с закупанами)))
скупые мужские слезы капают на 99% простаивающего потенциала
пусть таблички пересчитывают, пока персонал честно работает в терминалке

на чистом дистрибутиве показатели в два раза выше чем в втвари. начал копать вопрос. вот докопал до сегодняшнего момента.
городить свой велосипед для тонкого клиента вообще не хочется, ибо втварь работает давно и красиво.

[aka]

Попробуй: http://wtware.com/testing/202110142350.zip

1. Собрано с hugepage. Но оно выключено по умолчанию.
2. В конфиг:

Код: Выделить всё

extra = telnetd, что-там-ещё

Запустится сервер телнет.

Но в два раза выше это серьёзно. А данные табличек приходят по сети и у дистрибутивов, и у втвари?

[XsoWie]

за телнет респект. очень помог.

покопал я недостаточно глубоко.
читая по мануалу выясняется что надо еще и поддержку HUGETLBFS в ядре

First the Linux kernel needs to be built with the CONFIG_HUGETLBFS
(present under "File systems") and CONFIG_HUGETLB_PAGE (selected
automatically when CONFIG_HUGETLBFS is selected) configuration
options.

то есть

Код: Выделить всё

cat /proc/filesystems

должен нам показать наличие hugetlbfs

а при наличии поддержки этой фс в sysctl появляется возможность редактировать параметр vm.nr_hugepages

а далее вроде все просто должно быть. монитруем эту фс в куданибудь. и софтина должна в это куданибудь складывать свои большие страницы

на всякий случай почитал дальше. должно быть достаточно, чтобы вопрос закрыть.

[aka]

Я того, выходил... Попробуй это: http://wtware.com/testing/202111132339.zip

Код: Выделить всё

# cat /proc/filesystems
...
nodev   hugetlbfs
...

[XsoWie]

Я того, выходил... Попробуй это: http://wtware.com/testing/202111132339.zip

чото я тоже вышел... хорошо так вышел...
можно повторить? архив уже тютю ((

[aka]

http://wtware.com/testing/202201120333.zip