hugepage

Ответить

Смайлики
:D :) :( :o :shock: :? 8) :lol: :x :P :oops: :cry: :evil: :twisted: :roll: :wink: :!: :?: :idea: :arrow: :| :mrgreen:

BBCode ОТКЛЮЧЕН
Смайлики ВКЛЮЧЕНЫ

Обзор темы
   

Развернуть Обзор темы: hugepage

Re: hugepage

aka » Ср янв 12, 2022 2:37 am

Re: hugepage

XsoWie » Сб янв 08, 2022 4:42 pm

aka писал(а): Сб ноя 13, 2021 10:57 pm Я того, выходил... Попробуй это: http://wtware.com/testing/202111132339.zip
чото я тоже вышел... хорошо так вышел...
можно повторить? архив уже тютю ((

Re: hugepage

aka » Сб ноя 13, 2021 10:57 pm

Я того, выходил... Попробуй это: http://wtware.com/testing/202111132339.zip

Код: Выделить всё

# cat /proc/filesystems
...
nodev   hugetlbfs
...

Re: hugepage

XsoWie » Пт окт 15, 2021 10:41 am

aka писал(а): Чт окт 14, 2021 10:57 pm
за телнет респект. очень помог.

покопал я недостаточно глубоко.
читая по мануалу выясняется что надо еще и поддержку HUGETLBFS в ядре
First the Linux kernel needs to be built with the CONFIG_HUGETLBFS
(present under "File systems") and CONFIG_HUGETLB_PAGE (selected
automatically when CONFIG_HUGETLBFS is selected) configuration
options.
то есть

Код: Выделить всё

cat /proc/filesystems
должен нам показать наличие hugetlbfs

а при наличии поддержки этой фс в sysctl появляется возможность редактировать параметр vm.nr_hugepages

а далее вроде все просто должно быть. монитруем эту фс в куданибудь. и софтина должна в это куданибудь складывать свои большие страницы

на всякий случай почитал дальше. должно быть достаточно, чтобы вопрос закрыть.

Re: hugepage

aka » Чт окт 14, 2021 10:57 pm

Попробуй: http://wtware.com/testing/202110142350.zip

1. Собрано с hugepage. Но оно выключено по умолчанию.
2. В конфиг:

Код: Выделить всё

extra = telnetd, что-там-ещё
Запустится сервер телнет.

Но в два раза выше это серьёзно. А данные табличек приходят по сети и у дистрибутивов, и у втвари?

Re: hugepage

XsoWie » Чт окт 14, 2021 7:05 pm

по сетке грузиться втварь.
постргю же можно ограничить по памяти.
просто смысл такой.
обновили парк)))
и теперь в сети есть 25 тонких клиентов на втвари с пятыми райзенами и 32гигами озу на борту.
не спрашивай зачем и почему. привет и спасибо снабженцам и планировщикам с закупанами)))
скупые мужские слезы капают на 99% простаивающего потенциала
пусть таблички пересчитывают, пока персонал честно работает в терминалке

на чистом дистрибутиве показатели в два раза выше чем в втвари. начал копать вопрос. вот докопал до сегодняшнего момента.
городить свой велосипед для тонкого клиента вообще не хочется, ибо втварь работает давно и красиво.

Re: hugepage

aka » Чт окт 14, 2021 6:13 pm

А своп куда?

Если втварь грузится по сети или с флешки, у неё будет своп. Сжатый. Магия 78 уровня - свопить память в память. Реально помогает запустить хром на гигабайте. Но оно помогает пока туда склдывается ненужное. Как только с памятью становится совсем плохоо и в этот своп начинает ложиться нужное - начинается жуткое торможение, работать больше невозможно. С твоей экстраординарной экстрой то же самое будет.

Если втварь грузится с жесткого диска большого объема, своп будет обычный на диск.

Re: hugepage

XsoWie » Чт окт 14, 2021 10:34 am

а как позырить без консоли есть чего в свопе или нет?
екстра планируется экстраординарная ))
вебинтерфейс же. посмотрел. есть маленько. 32gb оперативы. маленько в свопе лежит.

Re: hugepage

aka » Чт окт 14, 2021 10:17 am

Насколько я понимаю, hugepages - это про много памяти и своп. Если у нас 100500 гигов, то целесообразно кидать в своп куски по два мегабайта вместо дефолтных 4K, чтобы таблицы, описывающие, какой кусок в памяти а какой в свопе, были покороче.

У тебя такая могучая экстра, что ложится в своп? А своп вообще есть?

Re: hugepage

XsoWie » Чт окт 14, 2021 7:30 am

aka писал(а): Ср окт 13, 2021 8:31 pm Будет работать?
тут все работает
aka писал(а): Дык ссылку покажи.
https://github.com/docker-library/postgres
aka писал(а): И я правильно понимаю, что wrmsr в extra= под втварью сейчас корректно отрабатывает, не ругается?
да. wrmsr отрабатывает правильно. я протупил. бинарник пытался сам эти значения прописать, и у него не получалось. отключил это в бинарнике. и скрипт из extra пишет их. тут все норм.

вопрос осталcя по hugepage всетаки. вернулись к началу.
походу в ядре оно не включено всетаки
ls /sys/kernel/mm
консль wtware показывает тут только наличие swap
transparent_hugepage отсутствует

можно его всетки включить в ядре? пожалста ))))

Re: hugepage

aka » Ср окт 13, 2021 8:31 pm

XsoWie писал(а): Вт окт 12, 2021 11:18 pm на дебиане работает, msr.ko лежит в /lib/modules/5.10.0-9-amd64/kernel/arch/x86/kernel
не понял как запустить модуль ДО запуска бинарника?
modprobe msr говорит что нету такого модуля (modprobe: can't open 'modules.dep': No such file or directory)
insmod требует чтобы msr.ko присутствовал в системе ))
На дебиане запусти модуль руками. Тот, который лежит в...

И потом, на дебиане, когда модуль уже будет запущен (и софтина никак не сможет запустить его второй раз), запусти софтину. На дебиане.

Будет работать?

XsoWie писал(а): Вт окт 12, 2021 11:18 pm доступ к авторам есть. и исходники на гитхабе лежат.
Дык ссылку покажи.

И я правильно понимаю, что wrmsr в extra= под втварью сейчас корректно отрабатывает, не ругается?

Re: hugepage

XsoWie » Вт окт 12, 2021 11:18 pm

на дебиане работает, msr.ko лежит в /lib/modules/5.10.0-9-amd64/kernel/arch/x86/kernel
не понял как запустить модуль ДО запуска бинарника?
modprobe msr говорит что нету такого модуля (modprobe: can't open 'modules.dep': No such file or directory)
insmod требует чтобы msr.ko присутствовал в системе ))
доступ к авторам есть. и исходники на гитхабе лежат.

Re: hugepage

aka » Вт окт 12, 2021 11:10 pm

А на свежем дебиане на этой же железке это работает?
А если на свежем дебиане модуль запустить ДО запуска бинарника, чтобы бинарник никак не мог запустить модуль заново - работает?
Доступа к авторам бинарника нет?

Re: hugepage

XsoWie » Вт окт 12, 2021 11:08 pm

все таже проблема.
бинарник из extra говорит что msr kernel module is not available
хотел ему подсунуть kernel module чтоб был available
а msr.ko отсутствует в наличии.

Re: hugepage

aka » Вт окт 12, 2021 10:58 pm

Какой-то ты ерундой занимаешься. Нельзя всунуть в ядро модуль, который собирался без ядра. Проблема в чем?

Re: hugepage

XsoWie » Вт окт 12, 2021 10:03 pm

Ну, в этой ситуации мы просто, наша, это самое, мы уже здесь, наши полномочия всё ((
модуль собрал, получаю
KERNEL] [ 8.354465] msr: version magic '5.10.70 SMP mod_unload modversions ' should be '5.10.70 SMP '
vermagic ругается.
все. я сдался. последняя надежда на родной (при сборке) msr.ko
и если и с ним откажется работать. значит не судьба.

Re: hugepage

aka » Вт окт 12, 2021 9:46 pm

extra= под рутом запускается. Всё может.

Re: hugepage

XsoWie » Вт окт 12, 2021 9:43 pm

а пакеты extra какие привилегии имеют? wtware вообще там разделятеся как то запуск по привилегиям? может бинарнику просто прав не хватает? я уже готов сдаться (((

Re: hugepage

aka » Вт окт 12, 2021 9:29 pm

На x86 консоль есть. На малине консоль есть. Включается волшебным словом telnetd в командной строке ядра.

На x64 консоли нет потому что нет загрузчика, некому передать командную строку ядра. Теоретически можно настроить UEFI, UEFI это же мегасложная штука и настроек у неё куча, только их не умеет никто.

Как ещё сказать терминалу запускать telnetd, чтобы ничего лишщнего не усложнять? Пункт меню Setup выносить не хочу, не стоит оно того. Можно сделать например "extra=telnetd", ключевое слово, по которому качаться ничего не будет, а запустится telnetd.

Re: hugepage

XsoWie » Вт окт 12, 2021 8:27 pm

плохо без консоли. так бы в реалтайме проверял. телнет бы вернуть. или ssh какой собрать подкинуть попробовать

Re: hugepage

XsoWie » Вт окт 12, 2021 8:26 pm

сегфаулта больше нет.
правки в регистры внес, все норм.
я не пойму почему бинарник ругается на отсутствие модуля (((
соберу щас сам, подкину, погляжу

Re: hugepage

aka » Вт окт 12, 2021 8:13 pm

Модуль msr в ядре. Запущен. Работает. Запусти командную строку из меню Setup и сделай:

ls -l /dev/cpu/0/

Будет файл msr. У каждого ядра свой. Если только ты запускаешь 6.0.58 втварь для x64.

Давай ближе к проблеме. Как именно пишется "сегфаулт с руганью на libc" ?

Re: hugepage

XsoWie » Вт окт 12, 2021 7:11 pm

aka писал(а): Вт окт 12, 2021 6:38 pm Оно в ядро должно быть вкомпилировано.
ну чот нифига ((
а можно скомпилиный msr.ko выложить? я его руками прогружу да и все.

Re: hugepage

aka » Вт окт 12, 2021 6:38 pm

Оно в ядро должно быть вкомпилировано.

Re: hugepage

XsoWie » Вт окт 12, 2021 6:06 pm

aka писал(а): Пн окт 11, 2021 11:45 pm Собрал. Попробуй 6.0.58.
хм. чот не подгружается модуль ((
modprobe msr выдает
EXTRA] [ 8.417476] modprobe: can't open 'modules.dep': No such file or directory

lsmod выдает
21-59-26-133| [ EXTRA] [ 8.417765] Module Size Used by Not tainted
21-59-26-133| [ EXTRA] [ 8.417767] nouveau 2150400 -
21-59-26-137| [ EXTRA] [ 8.417767] i2c_algo_bit 16384 -
21-59-26-137| [ EXTRA] [ 8.417775] drm_kms_helper 204800 -
21-59-26-137| [ EXTRA] [ 8.417776] syscopyarea 16384 -
21-59-26-137| [ EXTRA] [ 8.417776] sysfillrect 16384 -
21-59-26-137| [ EXTRA] [ 8.417777] sysimgblt 16384 -
21-59-26-137| [ EXTRA] [ 8.417777] fb_sys_fops 16384 -
21-59-26-137| [ EXTRA] [ 8.417777] ttm 81920 -
21-59-26-137| [ EXTRA] [ 8.417778] drm 393216 -
21-59-26-137| [ EXTRA] [ 8.417778] r8169 98304 -

Re: hugepage

aka » Пн окт 11, 2021 11:45 pm

Собрал. Попробуй 6.0.58.

Re: hugepage

XsoWie » Вс окт 10, 2021 7:22 pm

спасибо

Re: hugepage

aka » Вс окт 10, 2021 6:05 pm

Да. Сейчас только соберу всё в кучу и выложу попробовтаь.

Re: hugepage

XsoWie » Вс окт 10, 2021 11:06 am

а можно хоть намек, будет включен или нет. а то как то неопределенность подвисла ((
ждать или не ждать, вот в чем вопрос.

Re: hugepage

XsoWie » Ср сен 29, 2021 3:14 pm

ну вот люди мнением деляться
https://linustechtips.com/topic/1201012 ... ujcnBszQil
вот оракл к своим сервакам рекомендации дает
https://docs.oracle.com/cd/E19962-01/ht ... gljyu.html
тут хаявей рекомендует включить
https://support.huawei.com/enterprise/e ... on-of-bios

мне как раз отключить надо. на матери нет настройки на отключение в bios (((

Re: hugepage

aka » Ср сен 29, 2021 10:53 am

Прикладной, неграфический софт в два раза быстрее из-за настройки процессора? Вот бы про это почитать...

Re: hugepage

XsoWie » Ср сен 29, 2021 9:11 am

прикладной софт из экстра отрабатывает в два раза шустрее, если ему эти параметры скормить.
было бы хорошо, если включить.

Re: hugepage

aka » Пн сен 27, 2021 3:26 pm

X86_MSR при сборке ядра для x64 втвари не выбран. Т.е. файла /dev/cpu/*/msr нет, прикладная программа рулить MSR не может.

Зачем это терминалу?

Re: hugepage

XsoWie » Пн сен 27, 2021 1:08 pm

aka писал(а): Пн сен 27, 2021 12:54 pm Ты бы сначала архитектуру указывал (x86,x64,arm)
x64

собрал extra с wrmsr из пакета msr-tools

говорю ему исполни:
wrmsr -a 0xc0011020 0
wrmsr -a 0xc0011021 0x40
wrmsr -a 0xc0011022 0x1510000
wrmsr -a 0xc001102b 0x2000cc16
и получаю сегфаулт с руганью на libc

Re: hugepage

aka » Пн сен 27, 2021 12:54 pm

Гигабайт оперативной памяти. Когда-то Хром запускался на полгигабайте. Сейчас магии стало больше, но хром толстеет быстрее и на гиге взлетает всё неувереннее.

Ты бы сначала архитектуру указывал (x86,x64,arm), про которую пишешь, а потом все эти умные слова.

Re: hugepage

XsoWie » Пн сен 27, 2021 12:49 pm

Barvinok писал(а): Пн сен 27, 2021 11:10 am А чем это может быть полезно для WTW?
для WTW не знаю чем.
для пакетов extra надо.
оно походу и так включено. так что по хугам вопрос снят.

а вот регистры MSR править не получается ((
wrmsr в сегфаулт падает с руганью на libc, при попытке изменить, из пакета extra
надо какойто особый wrmsr?
aka писал(а): Пн сен 27, 2021 11:56 am Во-во, зачем это терминалу? Чтоб Chromium на гигабайте не работал?
гигабайт, тут что имеется в виду? и почему оно перестанет работать?

Re: hugepage

aka » Пн сен 27, 2021 11:56 am

Во-во, зачем это терминалу? Чтоб Chromium на гигабайте не работал?

Re: hugepage

Barvinok » Пн сен 27, 2021 11:10 am

Прикольно.
Я включал для PGSQL, но разницы, признаюсь, не заметил.
А чем это может быть полезно для WTW?

hugepage

XsoWie » Вс сен 26, 2021 3:51 pm

прошу включить в ядре hugepage

Вернуться к началу