Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!

Ogłoszenie

Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.

#1  2018-11-30 19:03:53

  morfik - Cenzor wirtualnego świata

morfik
Cenzor wirtualnego świata
Skąd: ze WSI
Zarejestrowany: 2011-09-15
Serwis

Brakujące kontrolery w cgroup v2

Chciałem ponownie w końcu zaimplementować sobie cgroup ale się trochę pozmieniało w tej kwestii i za bardzo nie wiem jak teraz powinno się ogarnąć to przedsięwzięcie.

Domyślnie systemy mające systemd na pokładzie używają trybu hybrydowego (v1+v2). Istnieje możliwość włączenia lub wyłączenia jednego z tych trybów i w ten sposób można mieć albo v1 albo v2. [url=https://brauner.github.io/2018/02/19/lxc-lands-unified-cgroup-hierarchy-support.html]Więcej info tu[/url].

Cgroup v1 działają u mnie bez problemu mniej więcej tak jak to kiedyś [url=https://morfikov.github.io/post/ograniczanie-zasobow-procesom-przez-cgroups/]opisałem tutaj[/url] —  podążając tym howto udało mi się wszystko wskrzesić u siebie, oczywiście dostosowując nieco rzeczy pod kątem obecnych realiów ale działa. xD

Problem w tym, że cgroup v1 nie ma kontrolerów od SWAP. Bez SWAP, system zachowuje się tak jak od niego oczekuję w przypadku, gdy jakiś proces zjada za dużo zasobów (dostaje w łeb od OOM-killer'a). Jak się włączy SWAP, to aplikacja zamiast dostać w łeb, to zaczyna zrzucać dane do SWAP i nie ma tutaj żadej kontroli ile tych danych może zrzucić. To i tak jest o wiele lepsze rozwiązanie niż bez cgroup, bo przynajmniej dane tego żarłocznego procesu są zrzucane do SWAP, a nie innych procesów. Niemniej jednak, [url=https://www.kernel.org/doc/Documentation/cgroup-v2.txt]czytaj sobie o cgroup v2[/url], jest tam wzmianka o kontrolerze memory, a dokładnie chodzi o to poniższe:

memory.swap.current
    A read-only single value file which exists on non-root
    cgroups.

    The total amount of swap currently being used by the cgroup
    and its descendants.

  memory.swap.max
    A read-write single value file which exists on non-root
    cgroups.  The default is "max".

    Swap usage hard limit.  If a cgroup's swap usage reaches this
    limit, anonymous memory of the cgroup will not be swapped out.[/quote]
No i to jest to czego mi brakuje, problem w tym, że coś ten cgroup v2 w debianie jest jakiś niedorobiony (albo to mój system xD). Bo testowo włączając za pomocą [b]systemd.unified_cgroup_hierarchy=1[/b] w linijce kernela, mam coś takiego:

Kod:

# mount | grep cgroup
cgroup2 on /sys/fs/cgroup type cgroup2 (rw,nosuid,nodev,noexec,relatime,nsdelegate)

No i powinien być tylko ten jeden wpis ale jak się zajrzy do tego katalogu /sys/fs/cgroup/ , to tam jest:

Kod:

# cat cgroup.controllers 
cpu io memory pids

I widać, że jest memory. Jak się teraz stworzy jakiś katalog, to w nim są takie oto pliki:

Kod:

# ls -a
./                  cgroup.max.descendants  cgroup.type      io.max          memory.high  pids.current
../                 cgroup.procs            cpu.max          io.stat         memory.low   pids.events
cgroup.controllers  cgroup.stat             cpu.stat         io.weight       memory.max   pids.max
cgroup.events       cgroup.subtree_control  cpu.weight       memory.current  memory.min
cgroup.max.depth    cgroup.threads          cpu.weight.nice  memory.events   memory.stat

No i na moje oko to trochę tych plików brakuje. No i pytanie jak sprawić, by się one pojawiły. xD

A i jeszcze tak przy okazji. Chyba ten cgrulesengd i spółka raczej nie znajdzie zastosowania na cgroup v2, bo m.in. plik tasks został usunięty, no i nazwy plików się pozmieniały, itp? To jak teraz ogarnąć appki usera, by je jakoś ograniczyć?

Offline

 

#2  2018-11-30 20:16:10

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/urandom
Zarejestrowany: 2008-01-07

Re: Brakujące kontrolery w cgroup v2

Cgroup v1 nie obrabia swapa?

To co oznaczają te klucze u mnie:

Kod:

/cgroup/memory/users/firefox/memory.memsw.failcnt
/cgroup/memory/users/firefox/memory.memsw.limit_in_bytes
/cgroup/memory/users/firefox/memory.memsw.max_usage_in_bytes
/cgroup/memory/users/firefox/memory.memsw.usage_in_bytes
/cgroup/memory/users/firefox/memory.swappiness

Jeżeli CgroupV1 nie pisali kretyni, to znaczy, że albo Debian ma jakiś błąd,
albo CgroupV2 jest zjebane,  albo masz coś zwalone w konfiguracji.
Może błąd jest w tym hybrydowym v1+v2 z Systemd?

Jest też możliwość, że dokumentacja CgroupV2 wyprzedza rzeczywistość o 15 lat,
np spróbuj wg dokumentacji apparmora filtrować programom połączenia sieciowe,
sockety unix, ptrace i sygnały na domyślnym jaju Debiana, to lepiej zrozumiesz, o co chodzi.

np takie:

[88597.549626] audit: type=1400 audit(1543593918.545:7340): apparmor="DENIED" operation="[b]signal[/b]" profile="/opt/google/*/chrome" pid=19109 comm="chrome" requested_mask="receive" denied_mask="[b]receive[/b]" [b]signal=kill[/b] peer="/opt/google/*/chrome[/quote]
Ja na Cgroup V2 się wybiorę dopiero, jak będzie miał pełną funkcjonalność v1.

Chyba że wcześniej wyleci iptables na rzecz nftables a mnie się nie uda zrobić globalnej polityki AA czyli profilu dla  /sbin/init.

Już się za niego zabieram jak pies za jeża od dłuższego czasu.

Poza tym w Debianie SWAP? po cholerę to, nie lepiej RAMu dokupić?

[b]EDIT:[/b]
[b]Cgroup v1 nie pisali kretyni:[/b]

...
memory.memsw.limit_in_bytes     # set/show limit of memory+Swap usage
...
memory.memsw.max_usage_in_bytes # show max memory+Swap usage recorded
....
2.4 Swap Extension (CONFIG_MEMCG_SWAP)

Swap Extension allows you to record charge for swap. A swapped-in page is
charged back to original page allocator if possible.

When swap is accounted, following files are added.
- memory.memsw.usage_in_bytes.
- memory.memsw.limit_in_bytes.

memsw means memory+swap. Usage of memory+swap is limited by
memsw.limit_in_bytes.

Example: Assume a system with 4G of swap. A task which allocates 6G of memory
(by mistake) under 2G memory limitation will use all swap.
In this case, setting memsw.limit_in_bytes=3G will prevent bad use of swap.
By using the memsw limit, you can avoid system OOM which can be caused by swap
shortage.

* why 'memory+swap' rather than swap.
The global LRU(kswapd) can swap out arbitrary pages. Swap-out means
to move account from memory to swap...there is no change in usage of
memory+swap. In other words, when we want to limit the usage of swap without
affecting global LRU, memory+swap limit is better than just limiting swap from
an OS point of view.

* What happens when a cgroup hits memory.memsw.limit_in_bytes
When a cgroup hits memory.memsw.limit_in_bytes, it's useless to do swap-out
in this cgroup. Then, swap-out will not be done by cgroup routine and file
caches are dropped. But as mentioned above, global LRU can do swapout memory
from it for sanity of the system's memory management state. You can't forbid
it by cgroup.
...[/quote]
RTFM:
https://lwn.net/Articles/529927/

U mnie:

Kod:

root ~>  zgrep -i MEMCG_SWAP /proc/config.gz 
CONFIG_MEMCG_SWAP=y
CONFIG_MEMCG_SWAP_ENABLED=y

root ~> grep firefox `which cgstart` | grep mem
mkdir -p $CGDIR/memory/users/firefox
echo '1'> $CGDIR/memory/users/firefox/cgroup.clone_children
echo '2g' >   $CGDIR/memory/users/firefox/memory.soft_limit_in_bytes
echo '32m' > $CGDIR/memory/users/firefox/memory.kmem.tcp.limit_in_bytes
echo '2g' >   $CGDIR/memory/users/firefox/memory.limit_in_bytes
echo '2g' >   $CGDIR/memory/users/firefox/memory.memsw.limit_in_bytes
echo '1'  >   $CGDIR/memory/users/firefox/memory.oom_control

Pozdro
;)

Ostatnio edytowany przez Jacekalex (2018-11-30 21:08:39)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#3  2018-11-30 23:02:30

  morfik - Cenzor wirtualnego świata

morfik
Cenzor wirtualnego świata
Skąd: ze WSI
Zarejestrowany: 2011-09-15
Serwis

Re: Brakujące kontrolery w cgroup v2

Wygląda, że debian nie ma odpowiednich opcji w kernelu. I w sumie by te memory.memsw.* się pojawiły to trzeba albo sobie kernel przekompilować albo dodać do linijki kernela tę poniższa opcję:

Kod:

swapaccount=1

I powinno śmigać. xD

Offline

 

Stopka forum

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson
Nas ludzie lubią po prostu, a nie klikając w przyciski ;-)

[ Generated in 0.029 seconds, 12 queries executed ]

Informacje debugowania

Time (s) Query
0.00014 SET CHARSET latin2
0.00006 SET NAMES latin2
0.00143 SELECT u.*, g.*, o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='3.133.12.172' WHERE u.id=1
0.00391 REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '3.133.12.172', 1713279336)
0.00041 SELECT * FROM punbb_online WHERE logged<1713279036
0.00588 DELETE FROM punbb_online WHERE ident='47.128.32.45'
0.00079 SELECT topic_id FROM punbb_posts WHERE id=322115
0.00258 SELECT id FROM punbb_posts WHERE topic_id=30749 ORDER BY posted
0.00566 SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=30749 AND t.moved_to IS NULL
0.00009 SELECT search_for, replace_with FROM punbb_censoring
0.00124 SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=30749 ORDER BY p.id LIMIT 0,25
0.00411 UPDATE punbb_topics SET num_views=num_views+1 WHERE id=30749
Total query time: 0.0263 s