Настраиваем использование оперативной памяти в Proxmox. KSM Sharing

Виртуализация сегодня стала технологией повседневной, развернуть гипервизор и настроить на нем виртуальные машины - задача базовая. Куда сложнее заставить гипервизор эффективно утилизировать дорогие и ограниченные физические ресурсы - прежде всего оперативную память. В данной статье мы рассмотрим встроенную дедупликацию страниц памяти (KSM) ядра Linux и разберемся, как ее наиболее эффективно использовать при размещении однотипных виртуальных машин.

Онлайн-курс по устройству компьютерных сетей
На углубленном курсе "Архитектура современных компьютерных сетей" вы с нуля научитесь работать с Wireshark и «под микроскопом» изучите работу сетевых протоколов. На протяжении курса надо будет выполнить более пятидесяти лабораторных работ в Wireshark. Реклама ИП Скоромнов Д.А. ИНН 331403723315

Оперативная память - дорогой ресурс и не только по цене собственно планок памяти, он дорог еще и тем, что является жестко ограниченным сверху возможностями платформы. Обычно хост виртуализации сразу поставляется с максимальным объемом памяти и далее приходится отталкиваться именно от этого значения.

При этом виртуальные машины очень часто используют одни и те же приложения, ядра, драйверы, библиотеки, которые многократно загружаются в память и не способствуют ее экономии, поэтому была разработана специальная технология ядра - KSM, позволяющая оптимизировать этот процесс.

Отдельно обратим внимание, что KSM - это возможность ядра Linux, поэтому все описанное ниже вы можете применять на других системах, не ограничиваясь Proxmox VE.

Как работает Kernel Same-page Merging

KSM (Kernel Same-page Merging) - специальная технология ядра Linux, позволяющая объединять страницы памяти разных процессов, тем самым добиваясь ее экономии, фактически данный процесс можно назвать дедупликацией оперативной памяти. При наличии большого количества однотипных виртуальных машин эффект от использования KSM может быть достаточно ощутимым.

Важно!

Обратите внимание! KSM работает только с виртуальными машинами KVM, для контейнеров LXC эта технология неприменима. Кроме того, KSM оперирует только стандартными страницами по 4 КБ и не объединяет HugePages.

Принцип работы KSM прост - служба сканирует страницы памяти разных процессов, находит одинаковые и объединяет их в одну с флагом Copy-on-Write (CoW), заменяя остальные виртуальными дубликатами, ссылающимися на нее.

При этом каждый процесс думает, что работает с собственной страницей памяти, а флаг CoW защищает чужие страницы от изменения. Если процесс хочет изменить общую страницу, то для него немедленно создается копия, которой он распоряжается самостоятельно.

В то же время остальные процессы могут продолжать использовать общие виртуальные страницы, продолжая экономить память. Если несколько процессов поменяют страницы идентичным образом, то при следующем сканировании они снова будут объединены.

Исходя из сказанного, напрашивается первый и главный вывод - для эффективного применения данной технологии ваш виртуальный парк должен быть максимально однотипным, наличие разнопланового зоопарка сведет эффективность KSM к нулю.

Управление KSM при помощи ksmtuned

KSM сразу включен в Proxmox VE, но по сути это просто сканер, обрабатывающий определенное число страниц с определенным временным промежутком, а адаптацией этого процесса к реальным условиям хоста занимается служба ksmtuned.

Настройки из коробки могут быть недостаточно оптимальными, поэтому откроем файл /etc/ksmtuned.conf и ознакомимся с его содержимым. Все опции в нем закомментированы и содержат значения по умолчанию, если мы хотим изменить значение, то строку надо раскомментировать.

Начнем с двух опций:

1KSM_THRES_COEF=20
2KSM_THRES_CONST=2048

KSM_THRES_COEF - основной параметр, указывающий при каком объеме оставшейся свободной памяти начнет работать KSM. Несложно подсчитать, что для системы с 64 ГБ ОЗУ это произойдет после того, как будут заняты 51,2 ГБ памяти. Второй параметр KSM_THRES_CONST указывает аналогичное значение в МБ, вы можете использовать его для более точного задания порогов, при различных значениях параметров сработает самый низкий порог.

Многим может показаться, что KSM начинает работать слишком поздно, но этому тоже есть своя причина - операция по сравнению и объединению страниц памяти довольно затратна по использованию процессора, поэтому указанные значения - это некоторый разумный компромисс. Если же у вас нет недостатка в процессорных ресурсах, но актуально рациональное использование памяти - можете попробовать настроить более раннее срабатывание.

Следующие два параметра в целом отвечают за нагрузку на CPU:

1KSM_MONITOR_INTERVAL=60
2KSM_SLEEP_MSEC=100

KSM_MONITOR_INTERVAL - задает промежуток между сканированиями в секундах. Сканирование происходит блоками по 16 ГБ, пауза между этими процессами (в миллисекундах) задается опцией KSM_SLEEP_MSEC. Увеличение этих параметров снижает нагрузку на процессор, но уменьшают эффективность работы KSM.

Минимальное и максимальное количество страниц, которые будут просканированы и объединены, задается параметрами:

1KSM_NPAGES_MIN=64
2KSM_NPAGES_MAX=1250

Без особой нужды и понимания того, что вы делаете, редактировать их не следует.

Агрессивность работы KSM задается следующими параметрами:

1KSM_NPAGES_BOOST=300
2KSM_NPAGES_DECAY=-50

KSM_NPAGES_BOOST определяет, какое количество сканируемых страниц будет прибавлено к текущему значению при превышении порога оставшейся свободной памяти, KSM_NPAGES_DECAY, наоборот, плавно уменьшает количество страниц, когда свободной памяти окажется больше, чем установлено в пороговых значениях. Таким образом достигается баланс между количеством сканируемых и объединяемых страниц и необходимым запасом свободной памяти.

Но приведенные значения совсем не догма, и если у вас большое количество однотипных виртуальных машин, то можете поэкспериментировать с настройками KSM, начав с изменения KSM_THRES_COEF.

После внесения изменений не забудьте перезапустить службу командой:

1systemctl restart ksmtuned

Таким образом, KSM, управляемый через ksmtuned, начинает работать при превышении памятью установленного порога (по умолчанию 80%), плавно поджимая ее обратно к нему и останавливая свою работу до следующего превышения. Типичный график его работы показан ниже:

Основными доступными вам инструментами являются настройки порогов и агрессивности сканирования. При выборе значений будьте благоразумны, помните, что за уплотнение памяти вы платите повышенной нагрузкой на процессор.

Управление KSM при помощи планировщика KSM Advisor

Начиная с ядра Linux 6.8 появился собственный встроенный механизм авторегулировки - Advisor, призванный в перспективе заменить внешний процесс ksmtuned. Он предполагает принципиально иной принцип работы, основанный не на пороговых значениях, а на адаптации к реальной нагрузке.

Планировщик не ждет, пока используемый объем оперативной памяти выйдет за определенные пределы, а работает постоянно, подстраивая количество сканируемых страниц таким образом, чтобы укладываться в заданные временные рамки, не превышая допустимой нагрузки на процессор.

Это позволяет эффективнее справляться с резкими всплесками нагрузки, например, при массовом запуске виртуальных машин, в то же время практически не нагружая систему в состоянии покоя.

Совместно с планировщиком раскрывается дополнительный механизм повышения эффективности - Smart scan. Это встроенный механизм оптимизации ядра, который запоминает страницы, которые не удалось объединить и динамически увеличивает количество их пропусков при последующих сканированиях (до 8 пропусков).

Такой подход позволяет не тратить процессорные ресурсы на "бесперспективные" страницы и работать именно с теми участками памяти, которые наиболее подходят для объединения.

Несмотря на то, что Smart scan - отдельный механизм, работать он начинает только совместно с KSM Advisor, потому что служба ksmtuned постоянно перезаписывает параметры ядра и сбивает алгоритм его работы.

Чтобы начать работать с KSM Advisor, вам нужно предварительно остановить и отключить службу ksmtuned, для этого выполните:

1systemctl disable --now ksmtuned

Теперь можно включить встроенный планировщик и запустить работу KSM:

1echo "scan-time" > /sys/kernel/mm/ksm/advisor_mode
2echo 1 > /sys/kernel/mm/ksm/run

После чего дайте системе некоторое время поработать и результат не заставит себя долго ждать. Как видим, практически при тех же вводных KSM Advisor работает агрессивнее и гораздо более эффективно освобождает память.

На текущий момент мы можем управлять встроенным планировщиком только путем редактирования файлов /sys/kernel/mm/ksm, что не самый оптимальный способ, кроме того, все внесенные таким образом изменения будут сброшены при перезагрузке.

Чтобы сохранить настройки, воспользуемся механизмом systemd-tmpfiles, для этого создадим файл /etc/tmpfiles.d/ksm-advisor.conf, куда внесем следующие строки:

1w /sys/kernel/mm/ksm/advisor_mode - - - - scan-time
2w /sys/kernel/mm/ksm/advisor_max_cpu - - - - 70
3w /sys/kernel/mm/ksm/run - - - - 1

Разберем их подробнее:

  • advisor_mode - режим работы KSM Advisor, для включения следует установить значение scan-time, по умолчанию - none.
  • advisor_max_cpu - максимальная нагрузка на одно ядро/поток CPU при сканировании в процентах, по умолчанию - 70%.
  • run - при значении равном 1 включает механизм KSM, по умолчанию - 0.

Также вам могут пригодиться следующие параметры:

1w /sys/kernel/mm/ksm/advisor_target_scan_time - - - - 200
2w /sys/kernel/mm/ksm/advisor_min_pages_to_scan - - - - 500
3w /sys/kernel/mm/ksm/advisor_max_pages_to_scan - - - - 30000
  • advisor_target_scan_time - целевое время одного прохода сканирования в мс, по умолчанию 200 мс.
  • advisor_min_pages_to_scan - минимальное количество страниц, сканируемое за один проход, по умолчанию 500.
  • advisor_max_pages_to_scan - максимальное количество страниц, сканируемое за один проход, по умолчанию - 30 000.

Для применения настроек без перезагрузки выполните:

1systemd-tmpfiles --create /etc/tmpfiles.d/ksm-advisor.conf

Для управления агрессивностью сканирования вы можете использовать как advisor_max_cpu - чем выше значение, тем агрессивнее будет работать KSM, так и advisor_target_scan_time - заставляя его работать быстрее, или наоборот спокойнее.

Особенности использования в многопроцессорных системах (NUMA)

По умолчанию у KSM нет запрета объединять страницы памяти, находящиеся на разных NUMA-узлах (процессорных сокетах). Такой подход позволяет максимально экономить память в многопроцессорных системах, но он же может приводить к задержкам из-за использования для доступа к памяти другого узла узкой межпроцессорной шины (QPI/UPI/Infinity Fabric).

Если такое поведение является нежелательным, то следует явно запретить KSM объединять страницы разных NUMA-узлов. Для этого добавьте в файл /etc/ksmtuned.conf опцию:

1KSM_MERGE_ACROSS_NODES=0

Или в файл /etc/tmpfiles.d/ksm-advisor.conf строку:

1w /sys/kernel/mm/ksm/merge_across_nodes - - - - 0

После чего не забудьте перезапустить службу или заново применить настройки.

Оценка эффективности работы KSM Sharing

Все текущие значения работы системы KSM можно прочитать из файлов в /sys/kernel/mm/ksm/, для удобного получения сразу всего массива информации воспользуйтесь командой:

1grep -H . /sys/kernel/mm/ksm/*

Она выведет все непустые значения вместе с именами файлов, в зависимости от версии ядра их может быть разное значение, мы будем рассматривать вывод для современных систем, с версией ядра 6.8 и выше.

Блок advisor отвечает за состояние настроек KSM Advisor и его мы рассматривать не будем, там и так все понятно: текущий режим работы и установленные настройки. Сюда же добавим опции smart_scan и run. При использовании ksmtuned последняя может иметь значение 0, это означает что утилизация ОЗУ ниже лимита и в текущий момент сканирование не производится.

Текущие параметры сканирования отражают следующие две опции:

  • pages_to_scan:2280 - количество сканируемых страниц за такт
  • sleep_millisecs:20 - пауза между тактами.

Эти значения динамически устанавливаются планировщиком или службой ksmtuned. В данном примере они установлены планировщиком и показывают достаточно спокойный, даже ленивый режим сканирования.

Для определения эффективности и чистой экономии обратите внимание на опции:

  • general_profit: 1314142016 - чистая экономия памяти в байтах, за вычетом метаданных KSM, в данном случае ~1,22 ГБ.
  • pages_shared: 95480 - количество уникальных страниц по 4 КБ, которые являются общими и на которые ссылаются виртуальные страницы. В данном случае это примерно 373 МБ физической памяти.
  • pages_sharing: 348170 - количество виртуальных дубликатов страниц, который позволяет оценить реальный коэффициент дедупликации: примерно 3,65. В физической памяти эти страницы заняли бы ~1,33 ГБ

Разница между памятью в general_profit и pages_sharing как раз показывает накладные расходы на метаданные KSM.

Теперь посмотрим подробности самого процесса сканирования:

  • full_scans: 10450 - количество полных сканирований с момента запуска
  • pages_scanned: 5791057340 - общее количество страниц, проверенных за это время
  • pages_skipped: 10901913071 - количество пропущенных страниц, результат работы smart_scan

Соотношение просканированных и пропущенных страниц показывает реальную выгоду от "умного сканирования", которое в нашем случае экономит 65% вычислительного ресурса.

Следующие опции показывают:

  • pages_unshared: 422274 - количество общих страниц, в которые процесс осуществлял запись, и они были исключены из пула уникальных страниц
  • pages_volatile: 883487 - количество страниц, которые изменяются слишком быстро и KSM исключил их из своей работы.

Два этих параметра позволяют оценить стабильность и однородность среды, сравнив их с количеством общих страниц.

Для соотношения pages_unshared / pages_sharing нормальным считается значение менее 2-3, а значения свыше 5-10 являются критическими и говорят о том, что процессы постоянно пишут в объединенные страницы и накладные расходы на KSM могут начать превышать экономию.

Соотношение pages_volatile / pages_sharing считается нормальным при значении менее 3-5, что показывает, что память достаточно стабильна и хорошо поддается дедупликации. Значения свыше 10-15, наоборот, свидетельствуют о том, что внутри виртуальных машин имеется высокая динамическая нагрузка и страницы меняются быстрее, чем KSM успевает их объединить.

Таким образом, представляя как работает KSM Sharing, и обладая реальными показателями нагрузки, вы сможете принимать взвешенные решения об изменении параметров сканирования для достижения оптимального эффекта.

Онлайн-курс по устройству компьютерных сетей
На углубленном курсе "Архитектура современных компьютерных сетей" вы с нуля научитесь работать с Wireshark и «под микроскопом» изучите работу сетевых протоколов. На протяжении курса надо будет выполнить более пятидесяти лабораторных работ в Wireshark. Реклама ИП Скоромнов Д.А. ИНН 331403723315

Помогла статья? Поддержи автора и новые статьи будут выходить чаще:

Поддержи проект!

Или подпишись на наш Телеграм-канал: Подпишись на наш Telegram-канал