Forum Debian Users Gang

morfik · 2013-12-03 15:01:53

Postanowiłem się wziąć za ogarnięcie moich torrentów a konkretnie klienta torrenta -- qbittorrent, bo jak nie patrzeć 240M zjadanego ramu to trochę za dużo. Do tej pory wydawało mi się, że to tak ma, ale jak się okazało, nie do końca. Generalnie ten qbittorrent ma zwykłego klienta i coś co się zwie nox, czyli klienta bez x-ów. W każdym razie problem dotyczył obu klientów. Sprawa wygląda tak, że qbttorrent może obsługiwać coś co się nazywa filtr adresów ip i z reguły ludzie ładują listę co się zwie level1 coś tam. ona ma prawie 250k wpisów, a plik waży koło 13M. Bez tej listy klienty zjadają 20/50M (nox/zwykły), a z nią 200/240M .

Zapytałem na forum qbittorenta wtf, no i mi admin tamtejszego forum odpowiedział, że to pewnie raczej bug, a sama lista tak naprawdę na nic się zdaje. W każdym razie przeszedłem na qbittorent-nox i zostawiłem go bez ładowania listy. Ale mi to nie dawało spokoju za bardzo i postanowiłem poszukać czegoś co mogłoby zastąpić mi ten filter, tak na wszelki wypadek, gdyby jednak miał znaczenie i znalazłem coś takiego: https://sourceforge.net/projects/peerguardian/

Źródła nawet są przystosowane pod debiana, przynajmniej z grubsza, generalnie działa ootb po zbudowaniu i zainstalowaniu paczki. Ma on gui i kilka innych ficzerów, w każdym razie on tworzy własne łańcuchy w iptables i na podstawie list, które można sobie wybrać (jest też i level1), blokuje ruch nie tylko na torrencie ale również na całej maszynie. Jeszcze nie przetestowałem tego dokładnie ale google jest blokowany na szczęście idzie go bez problemu wykroić. xD

I tak się zastanawiam, w oparciu o to co powiedział admin forum qb, czy ten peerguardian i inne podobne filtry mają jakiś większy sens w stosowaniu ich? Czy warto w ogóle budować filtr w oparciu o peerguardiana? Bo jeśli chodzi o performance to duet qb-nox + pgld zjada praktycznie 0 proca (po wyłączeniu logowani) i koło 35M ramu razem, także całkiem nieźle to wygląda.

Jacekalex · 2013-12-03 18:13:01

PeerGuardian?

Kod:

ipset create peerblock hash:net maxelem 262144  2>/dev/null


iptables -t raw -S | grep peerblock
-A PREROUTING -p tcp -m multiport ! --sports 80,443 -m set --match-set peerblock src -j STEAL
-A OUTPUT -p tcp -m multiport ! --dports 80,443 -m set --match-set peerblock dst -j STEAL

Kod:

root ~> cat `which peerblock`| egrep -v '^#'

echo "Peerblock wita, robimy blokadę szpiegaczy ;)";


curl -L "http://list.iblocklist.com/?list=bt_level1&fileformat=p2p&archiveformat=gz" |
    gunzip |
    cut -d: -f2 |
    grep -E "^[-0-9.]+$" |
    gawk '{print "add peerblock "$1}' |
     ipset restore -exist;
    
    echo "";
    echo "PeerBlock - lista szpiegaczy aktualna :)";
    echo "":

SOA#1

Ostatnio edytowany przez Jacekalex (2013-12-03 19:39:29)

morfik · 2013-12-03 20:44:27

A ja chyba mam niekompatybilną podkładkę pod mysze. xD

Zrobiłem seta i poniżej info po exporcie do pliku (bez ip):

Kod:

Name: peerblock
Type: hash:net
Revision: 3
Header: family inet hashsize 131072 maxelem 300000
Size in memory: 5894648
References: 0
Members:

Ale jak mu chciałem dodać te 2 reguły do iptables, to wyrzucił, że:

Kod:

# iptables -A PREROUTING -p tcp -m multiport ! --sports 80,443 -m set --match-set peerblock src -j STEAL
iptables v1.4.20: Couldn't load target `STEAL':No such file or directory

Try `iptables -h' or 'iptables --help' for more information.

By to działało trzeba doinstalować mu xtables-addons-dkms i xtables-addons-common albo samo to drugie. Ale i tak nie weszła jedna reguła:

Kod:

# iptables -A PREROUTING -p tcp -m multiport ! --sports 80,443 -m set --match-set peerblock src -j STEAL
iptables: No chain/target/match by that name.

Jakieś info co mam z tym zrobić?

Ten "size in memory" odnosi się do rzeczywistego ramu i jeśli ten set waży 5MiB, to z 1000 wolnych MiB w ramie zrobi się automatycznie 995, dobrze to rozumiem?

Kolejna sprawa, te wpisy w secie zostają po resecie czy trzeba to uzupełniać z każdym rebootem? I jak wygląda sprawa z aktualizacją tych ip? Jak dodam ten skrypt do crona, to bez problemu będzie aktualizował czy trzeba pierw flushować?

I jak sprawdzić czy to w ogóle coś blokuje? Z tego co rozumiem, to te regułki w iptables sprawią, że porty 80 i 443 nie będą filtrowane? I powinny się pojawić w:

Kod:

# iptables -nvL
Chain INPUT (policy DROP 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         
 7256  458K ACCEPT     all  --  lo     *       0.0.0.0/0            0.0.0.0/0           
11102 9698K ACCEPT     all  --  eth0   *       0.0.0.0/0            0.0.0.0/0            ctstate RELATED,ESTABLISHED
    0     0 ACCEPT     all  --  tun0   *       0.0.0.0/0            0.0.0.0/0            ctstate RELATED,ESTABLISHED
    6   240 DROP       all  --  *      *       0.0.0.0/0            0.0.0.0/0            state INVALID
    3   144 REJECT     tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            reject-with tcp-reset
 1205  374K REJECT     udp  --  *      *       0.0.0.0/0            0.0.0.0/0            reject-with icmp-port-unreachable
    0     0 REJECT     all  --  *      *       0.0.0.0/0            0.0.0.0/0            reject-with icmp-proto-unreachable

Chain FORWARD (policy DROP 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 6474 packets, 711K bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 DROP       all  --  *      *       0.0.0.0/0            0.0.0.0/0            state INVALID
    0     0 STEAL      tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            multiport dports  !80,443 match-set peerblock dst

I jeśli np. imap na googlu nie będzie działał, to trzeba dodać po jednej regule (niekoniecznie porty) w OUTPUT i PREROUTING, tak to ma działać?

p.s.
Czyli jednak te listy są przydatne?

Jacekalex · 2013-12-03 20:51:27

Cel STEAL jest w xtables-addons, w standardowym Netfilterze jest DROP albo REJECT.
Poza tym ja mam te reguły w tablicy RAW

Kod:

#RAW - peerblock
ipset create peerblock hash:net maxelem 262144  2>/dev/null
iptables -t raw -I OUTPUT -p tcp  --match multiport ! --dports  80,443 -m set --match-set peerblock dst -j STEAL
iptables -t raw -I PREROUTING -p tcp  --match multiport ! --sports  80,443  -m set --match-set peerblock src -j STEAL

Skrypcio działa?

Kod:

ipset list peerblock | head
Name: peerblock
Type: hash:net
Revision: 2
Header: family inet hashsize 131072 maxelem 262144 
Size in memory: 5895736
References: 2
Members:
72.236.159.0/25
81.117.80.184/29
194.117.117.80/30
.................

Kod:

 ipset list peerblock | wc -l
255790

U mnie siedzi w /etc/cron.hourly, jak widać śmiga. ;)

Ostatnio edytowany przez Jacekalex (2013-12-03 21:11:35)

morfik · 2013-12-03 21:17:34

Po odpaleniu skryptu jest:

Kod:

# ./peerblock 
Peerblock wita, robimy blokadę szpiegaczy ;)
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100 3567k  100 3567k    0     0   397k      0  0:00:08  0:00:08 --:--:--  564k

PeerBlock - lista szpiegaczy aktualna :)
:
# ipset list peerblock | head
Name: peerblock
Type: hash:net
Revision: 3
Header: family inet hashsize 131072 maxelem 300000
Size in memory: 5894648
References: 1
Members:
12.25.231.248/29
66.123.107.80/29
203.108.94.0/24
# ipset list peerblock | wc -l
255790

Czyli działa.

Dodałem to do tabeli raw i obecnie to wygląda:

Kod:

# iptables -nvL -t filter
Chain INPUT (policy DROP 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         
10460  662K ACCEPT     all  --  lo     *       0.0.0.0/0            0.0.0.0/0           
19876   20M ACCEPT     all  --  eth0   *       0.0.0.0/0            0.0.0.0/0            ctstate RELATED,ESTABLISHED
    0     0 ACCEPT     all  --  tun0   *       0.0.0.0/0            0.0.0.0/0            ctstate RELATED,ESTABLISHED
   11   440 DROP       all  --  *      *       0.0.0.0/0            0.0.0.0/0            state INVALID
    6   288 REJECT     tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            reject-with tcp-reset
 1714  531K REJECT     udp  --  *      *       0.0.0.0/0            0.0.0.0/0            reject-with icmp-port-unreachable
    0     0 REJECT     all  --  *      *       0.0.0.0/0            0.0.0.0/0            reject-with icmp-proto-unreachable

Chain FORWARD (policy DROP 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 14 packets, 901 bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 DROP       all  --  *      *       0.0.0.0/0            0.0.0.0/0            state INVALID

root:/home/morfik/Desktop# iptables -nvL -t raw
Chain PREROUTING (policy ACCEPT 2154 packets, 647K bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 STEAL      tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            multiport sports  !80,443 match-set peerblock src

Chain OUTPUT (policy ACCEPT 2000 packets, 272K bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 STEAL      tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            multiport dports  !80,443 match-set peerblock dst

Nadal nie widzę by to coś blokowało. Ta polityka w tych łąńcuchach output i prerouting w tabeli raw ma być na accept?

Ostatnio edytowany przez morfik (2013-12-03 21:19:00)

Jacekalex · 2013-12-03 21:24:19

Naucz się sprawdzać tablice FW poleceniem

Kod:

iptables -t <ŁAŃCUCH> -S

W ten sposób zobaczysz konkretne reguły tak, jak były wprowadzone.

np

[b]iptables -t raw -S[/b][/quote]
To by było na tyle
;-)

W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)

Time (s)	Query
0.00013	SET CHARSET latin2
0.00004	SET NAMES latin2
0.00104	SELECT u., g., o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='3.139.234.124' WHERE u.id=1
0.00221	REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '3.139.234.124', 1732694919)
0.00028	SELECT * FROM punbb_online WHERE logged<1732694619
0.00092	SELECT topic_id FROM punbb_posts WHERE id=247386
0.00016	SELECT id FROM punbb_posts WHERE topic_id=24743 ORDER BY posted
0.00036	SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=24743 AND t.moved_to IS NULL
0.00025	SELECT search_for, replace_with FROM punbb_censoring
0.00290	SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=24743 ORDER BY p.id LIMIT 0,25
0.02122	UPDATE punbb_topics SET num_views=num_views+1 WHERE id=24743
Total query time: 0.02951 s

Forum Debian Users Gang

Ogłoszenie

#1 2013-12-03 15:01:53

morfik - Cenzor wirtualnego świata

PeerGuardian i inne filtry ip

#2 2013-12-03 18:13:01

Jacekalex - Podobno człowiek...;)

Re: PeerGuardian i inne filtry ip

Kod:

Kod:

#3 2013-12-03 20:44:27

morfik - Cenzor wirtualnego świata

Re: PeerGuardian i inne filtry ip

Kod:

Kod:

Kod:

Kod:

#4 2013-12-03 20:51:27

Jacekalex - Podobno człowiek...;)

Re: PeerGuardian i inne filtry ip

Kod:

Kod:

Kod:

#5 2013-12-03 21:17:34

morfik - Cenzor wirtualnego świata

Re: PeerGuardian i inne filtry ip

Kod:

Kod:

#6 2013-12-03 21:24:19

Jacekalex - Podobno człowiek...;)

Re: PeerGuardian i inne filtry ip

Kod:

#7 2013-12-03 21:30:32

morfik - Cenzor wirtualnego świata

Re: PeerGuardian i inne filtry ip

Kod:

Kod:

#8 2013-12-04 20:59:10

morfik - Cenzor wirtualnego świata

Re: PeerGuardian i inne filtry ip

#9 2013-12-04 21:07:21

Jacekalex - Podobno człowiek...;)

Re: PeerGuardian i inne filtry ip

Kod:

Kod:

Kod:

#10 2013-12-04 21:33:48

morfik - Cenzor wirtualnego świata

Re: PeerGuardian i inne filtry ip

Kod:

Kod:

#11 2013-12-04 21:38:08

Jacekalex - Podobno człowiek...;)

Re: PeerGuardian i inne filtry ip

#12 2013-12-04 21:48:04

morfik - Cenzor wirtualnego świata

Re: PeerGuardian i inne filtry ip

#13 2013-12-04 22:01:54

Jacekalex - Podobno człowiek...;)

Re: PeerGuardian i inne filtry ip

#14 2013-12-04 22:09:23

morfik - Cenzor wirtualnego świata

Re: PeerGuardian i inne filtry ip

#15 2013-12-04 22:16:31

Jacekalex - Podobno człowiek...;)

Re: PeerGuardian i inne filtry ip

Kod:

#16 2013-12-04 22:20:53

morfik - Cenzor wirtualnego świata

Re: PeerGuardian i inne filtry ip

#17 2013-12-04 23:02:00

Jacekalex - Podobno człowiek...;)

Re: PeerGuardian i inne filtry ip

#18 2013-12-04 23:17:32

morfik - Cenzor wirtualnego świata

Re: PeerGuardian i inne filtry ip

#19 2013-12-20 13:13:54

gnejusz pompejusz - Użytkownik

Re: PeerGuardian i inne filtry ip

Kod: