Forum Debian Users Gang

winnetou · 2015-02-10 17:50:53

Konfiguracja:

Mam ja sobie serwerek z pocztą, który obsługuje wirtualne. SMTP to stary, poczciwy Postfix, MTA to Dovecot, nad przychodzącym badziewiem dzielnie czuwa SpamAssassin. Wszsytko bangla na bazie danych. Serwer obsługuje tzw rozrzeszone adresy:

Kod:

nazwakonta${delimiter}@domena.pl
np: ola-zbieramspam@mojmail.eu

Postfix i Dovecot ładnie spięte w 1 bazie. SA ma drugą, w której są ustwienia globalne i per użyszkodnik. SA stawiany wg [url=https://wiki.apache.org/spamassassin/UsingSQL]tego poradnika[/url]. Niby bangla ale nie do końca ;) Maile ładnie spawdza, punktuje, jak trzeba zmienia temat czy dostarcza maila jako załącznik TXT.

Mam z nim tylko 1 zgryz. Zaszła potrzeba napisania własnej regułki, więc wpakowałem do bazy:

Kod:

id    | username        | preference        | value                    | descript 

59    | login@domena    | header ADOBE_LEAK    | To =~ /login-adobe/i    | wyciek z adobe.com 
60    | login@domena    | score ADOBE_LEAK    | 5.0                     | dowal mu

I dupa nie działa... W logu dostaję takie piękne info:

Kod:

Feb 10 12:31:10 [spamd] config: not parsing, 'allow_user_rules' is 0: header ADOBE_LEAK To =~ /_login-adobe_/i_

Więc zgodnie z życzeniem SA dodałem do bazy danych następujący rekord:

Kod:

80    | $GLOBAL        | allow_user_rules    | 1                        | pozwol na regulki userow

I niestety dalej dupa. Zmiana w bazie z [b]login@domena[/b] na [b]$GOBAL[/b] też nic nie daje. Dopisanie

Kod:

allow_user_rules 1

do pliku [b]/etc/mail/spamassassin/local.cf[/b] też nie bangla (i nie powinno skoro SA łyka konfig z bazy....

Ma ktoś jakieś pomysly?

Jacekalex · 2015-02-10 18:26:21

Kod:

# userpref
user_scores_dsn                  DBI:mysql:spamd:localhost:/var/run/mysqld/mysqld.sock
user_scores_sql_password         <Hasełko>
user_scores_sql_username         spamd
user_scores_sql_custom_query     SELECT preference, value FROM userpref WHERE username = _USERNAME_  OR username = '$GLOBAL' OR username = CONCAT('%',_DOMAIN_) ORDER BY username ASC

Tabela userpref wg wiki Spamassasina, ustawianie przez wtyczkę SA do Roundcube (każdy pacjent sobie rzepkę skrobie).
Działa już z 5 latek bez problemu.

Kod:

cat /home/spamtest | spamc -u pacjent1@domena.tld | grep "X-Spam-Status"
X-Spam-Status: Yes  score=2.5  required=2.0

cat /home/spamtest | spamc -u pacjent2@domena.tld | grep "X-Spam-Status"
X-Spam-Status: No   score=2.5  required=5.0

Tylko nie dawaj do bazy regexów, ustaw je w konfigu z własną nazwą filtra,
a do bazy dajesz tylko punktację.
Sznurek: https://wiki.apache.org/spamassassin/WritingRules

SOA#1

Ostatnio edytowany przez Jacekalex (2015-02-10 18:34:36)

winnetou · 2015-02-10 19:00:37

Userpref działa tylko własne reguly nie działają. Po kilku kombinacjach i mieszaniu w bazie i kilku resetach SA i Amavisa staneło na tym, że allow_user_rules 1 łyka, ale w nagłówkach nie ma tego testu (jakby go nie uwzgiędniał).

Kod:

X-Spam-Checker-Version: SpamAssassin 3.3.2 (2011-06-06) on tyr.valhalla.org.pl
X-Spam-Level: 
X-Spam-Status: No, score=0.7 required=5.0 tests=AWL,DKIM_SIGNED,DKIM_VALID,
    DKIM_VALID_AU,FREEMAIL_ENVFROM_END_DIGIT,FREEMAIL_FROM,FREEMAIL_REPLY,
    T_RP_MATCHES_RCVD autolearn=no version=3.3.2

Tu powinien być jeszcze test ADOBE_LEAK i mail powinien dostać 5.7pkt... A tu log z przychodzącego maila:

Kod:

Feb 10 18:48:37 [postfix/smtpd25/smtpd] connect from mx2.wp.pl[212.77.101.7]
Feb 10 18:48:38 [postfix/policy-spf] : SPF pass (Mechanism 'ip4:212.77.96.0/19' matched): Envelope-from: SPAMER@wp.pl_
Feb 10 18:48:38 [postfix/policy-spf] handler sender_policy_framework: is decisive._
Feb 10 18:48:38 [postfix/policy-spf] : Policy action=PREPEND Received-SPF: pass (wp.pl: 212.77.101.7 is authorized to use
'SPAMER@wp.pl' in 'mfrom' identity (mechanism 'ip4:212.77.96.0/19' matched)) receiver=tyr.valhalla.org.pl; identity=mailfrom; 
envelope-from="SPAMER@wp.pl"; helo=mx2.wp.pl; client-ip=212.77.101.7_
Feb 10 18:48:38 [postfix/smtpd25/smtpd] 995601D33: client=mx2.wp.pl[212.77.101.7]
Feb 10 18:48:38 [postfix/cleanup] 995601D33: message-id=<54da46934c2ff7.83732976@wp.pl>
Feb 10 18:48:38 [postfix/qmgr] 995601D33: from=<SPAMER@wp.pl>, size=2725, nrcpt=1 (queue active)
Feb 10 18:48:38 [amavis] loaded policy bank "UNIX_LMTP"
Feb 10 18:48:38 [amavis] (29430-03) LMTP:[]: /var/amavis/tmp/amavis-20150210T170411-29430-UznHumkT: <SPAMER@wp.pl> -> 
<POCZTA-adobe@valhalla.org.pl> SIZE=2725 BODY=8BITMIME Received: from valhalla.org.pl by localhost (amavisd-new, unix socket) with 
LMTP for <POCZTA-adobe@valhalla.org.pl>; Tue, 10 Feb 2015 18:48:38 +0100 (CET)
Feb 10 18:48:38 [amavis] (29430-03) Checking: GmH9Xp1RTfiX UNIX_LMTP [212.77.101.7] <SPAMER@wp.pl> -> 
<POCZTA-adobe@valhalla.org.pl>
Feb 10 18:48:38 [postfix/public-smtpu/smtpd] connect from localhost[127.0.0.1]
Feb 10 18:48:38 [postfix/smtpd25/smtpd] disconnect from mx2.wp.pl[212.77.101.7]
Feb 10 18:48:38 [postfix/public-smtpu/smtpd] C511E1D34: client=localhost[127.0.0.1]
Feb 10 18:48:38 [postfix/cleanup] C511E1D34: message-id=<54da46934c2ff7.83732976@wp.pl>
Feb 10 18:48:38 [postfix/qmgr] C511E1D34: from=<SPAMER@wp.pl>, size=3133, nrcpt=1 (queue active)
Feb 10 18:48:38 [postfix/public-smtpu/smtpd] disconnect from localhost[127.0.0.1]
Feb 10 18:48:38 [amavis] (29430-03) FWD from <SPAMER@wp.pl> -> <POCZTA-adobe@valhalla.org.pl>,BODY=8BITMIME 250 2.0.0 from  
MTA(smtp:/var/spool/postfix/public/smtpu): 250 2.0.0 Ok: queued as C511E1D34
Feb 10 18:48:38 [amavis] (29430-03) Passed CLEAN {RelayedInbound}, UNIX_LMTP [212.77.101.7]:11409 [212.77.101.240]
<SPAMER@wp.pl> -> <POCZTA-adobe@valhalla.org.pl>, Queue-ID: 995601D33, Message-ID: <54da46934c2ff7.83732976@wp.pl>, mail_id:  
GmH9Xp1RTfiX, Hits: -, size: 2724, queued_as: C511E1D34, 88 ms
Feb 10 18:48:38 [spamd] spamd: got connection over /var/run/spamd.sock_
Feb 10 18:48:38 [spamd] spamd: handle_user unable to find user: 'POCZTA@valhalla.org.pl'_
Feb 10 18:48:38 [amavis/amavislmtp/lmtp] 995601D33: to=<POCZTA-adobe@valhalla.org.pl>, relay=valhalla.org.pl[filtry/amavis-lmtp], 
delay=1.2, delays=1.1/0.01/0/0.09, dsn=2.0.0, status=sent (250 2.0.0 from MTA(smtp:/var/spool/postfix/public/smtpu): 250 2.0.0 Ok:
queued as C511E1D34)
Feb 10 18:48:38 [amavis] (29430-03) size: 2724, TIMING [total 93 ms] - SMTP greeting: 2 (2%)2, SMTP LHLO: 2 (2%)4, SMTP pre-MAIL: 3
(3%)7, SMTP pre-DATA-flush: 4 (4%)11, SMTP DATA: 1 (1%)12, check_init: 0 (1%)12, digest_hdr: 1 (1%)13, digest_body: 1 (1%)14,
check_header: 4 (4%)18, AV-scan-1: 7 (7%)25, decide_mail_destiny: 1 (1%)25, notif-quar: 1 (1%)26, fwd-connect: 15 (16%)42,
fwd-mail-pip: 6 (7%)49, fwd-rcpt-pip: 0 (0%)49, fwd-data-chkpnt: 0 (0%)49, write-header: 1 (1%)50, fwd-data-contents: 0 (0%)50,
fwd-end-chkpnt: 36 (39%)89, prepare-dsn: 1 (1%)91, main_log_entry: 5 (5%)96, update_snmp: 2 (2%)98, SMTP pre-response: 1 (1%)99, SMTP
response: 1 (1%)99, unlink-1-files: 0 (0%)100, rundown: 0 (0%)100
Feb 10 18:48:38 [postfix/qmgr] 995601D33: removed
Feb 10 18:48:38 [spamd] config: failed to parse line, skipping, in "(no file)": subject_tag [SPAM - _HITS_ pkt] -_
Feb 10 18:48:38 [spamd] spamd: processing message <54da46934c2ff7.83732976@wp.pl> for POCZTA@valhalla.org.pl:299_
Feb 10 18:48:41 [spamd] spamd: clean message (0.7/5.0) for POCZTA@valhalla.org.pl:299 in 2.5 seconds, 3091 bytes._
Feb 10 18:48:41 [spamd] spamd: result: . 0 -
AWL,DKIM_SIGNED,DKIM_VALID,DKIM_VALID_AU,FREEMAIL_ENVFROM_END_DIGIT,FREEMAIL_FROM,FREEMAIL_REPLY,T_RP_MATCHES_RCVD
scantime=2.5,size=3091,user=POCZTA@valhalla.org.pl,uid=299,required_score=5.0,rhost=localhost,raddr=127.0.0.1,rport=/var/run/spamd.sock,mid=<54da46934c2ff7.83732976@wp.pl>,autolearn=no_
Feb 10 18:48:41 [postfix/pickup] 67AEE1D35: uid=299 from=<SPAMER@wp.pl>
Feb 10 18:48:41 [postfix/pipe] C511E1D34: to=<POCZTA-adobe@valhalla.org.pl>, relay=spamassassin, delay=2.6, delays=0.04/0.01/0/2.6, 
dsn=2.0.0, status=sent (delivered via spamassassin service)
Feb 10 18:48:41 [postfix/qmgr] C511E1D34: removed
Feb 10 18:48:41 [postfix/cleanup] 67AEE1D35: message-id=<54da46934c2ff7.83732976@wp.pl>
Feb 10 18:48:41 [spamd] prefork: child states: II_
Feb 10 18:48:41 [postfix/qmgr] 67AEE1D35: from=<SPAMER@wp.pl>, size=3537, nrcpt=1 (queue active)
Feb 10 18:48:41 [postfix/pipe] 67AEE1D35: to=<POCZTA-adobe@valhalla.org.pl>, relay=dovecot, delay=0.18, delays=0.06/0.01/0/0.12, 
dsn=2.0.0, status=sent (delivered via dovecot service)
Feb 10 18:48:41 [postfix/qmgr] 67AEE1D35: removed

Jacekalex · 2015-02-10 19:04:48

Działa Ci Spamassasinowe userpref w Amavisie?

Pytam, bo mnie się nie udało takiego cudownego efektu osiągnąć, dlatego mam podpiętego Spamassasina w ścieżce dostarczania poczty.

Amavis w ogóle u mnie zbyt dobrze nie czytał konfigów Spamassasina, bo po prostu uznał,ze "jest mądrzejszy i wie lepiej".

Trzeba było od razu pisać, że chodzi o Amavisa.

Ostatnio edytowany przez Jacekalex (2015-02-10 19:06:07)

winnetou · 2015-02-10 19:10:38

userpref działa - w roundcube idzie sobie wyklikać ustawienia SA i to też działa, nie działają tylko własne regulki, a ścieżka zdrowia dla maila wygląda tak:

Kod:

tyr munn.in # cat /etc/postfix/master.cf
# ==========================================================================
# service type  private unpriv  chroot  wakeup  maxproc command + args
#               (yes)   (yes)   (yes)   (never) (100)
# ==========================================================================
smtp      inet  n       -       n       -       -       smtpd 
    -o content_filter=amavislmtp:unix:filtry/amavis-lmtp
    -o milter_default_action=accept
    -o milter_macro_daemon_name=ORIGINATING
    -o syslog_name=postfix/smtpd25

submission inet n       -       n       -       -       smtpd
    -o content_filter=amavislmtp:unix:filtry/amavis-lmtp
    -o smtpd_tls_security_level=encrypt
    -o smtpd_sasl_auth_enable=yes
    -o smtpd_client_restrictions=permit_sasl_authenticated,reject
    -o receive_override_options=no_address_mappings
    -o smtpd_enforce_tls=yes
    -o milter_default_action=accept
    -o milter_macro_daemon_name=ORIGINATING
    -o syslog_name=postfix/submission

smtps     inet  n       -       n       -       -       smtpd
    -o content_filter=amavislmtp:unix:filtry/amavis-lmtp
    -o smtpd_tls_security_level=encrypt
    -o smtpd_tls_wrappermode=yes
    -o smtpd_sasl_auth_enable=yes
    -o smtpd_client_restrictions=permit_sasl_authenticated,reject
    -o milter_default_action=accept
    -o milter_macro_daemon_name=ORIGINATING
    -o receive_override_options=no_address_mappings
    -o syslog_name=postfix/smtps465

#628      inet  n       -       n       -       -       qmqpd
pickup    fifo  n       -       n       60      1       pickup
cleanup   unix  n       -       n       -       0       cleanup
qmgr      fifo  n       -       n       300     1       qmgr
#qmgr     fifo  n       -       n       300     1       oqmgr
tlsmgr    unix  -       -       n       1000?   1       tlsmgr
rewrite   unix  -       -       n       -       -       trivial-rewrite
bounce    unix  -       -       n       -       0       bounce
defer     unix  -       -       n       -       0       bounce
trace     unix  -       -       n       -       0       bounce
verify    unix  -       -       n       -       1       verify
flush     unix  n       -       n       1000?   0       flush
proxymap  unix  -       -       n       -       -       proxymap
smtp      unix  -       -       n       -       -       smtp
# When relaying mail as backup MX, disable fallback_relay to avoid MX loops
relay     unix  -       -       y       -       -       smtp
#    -o fallback_relay=
#       -o smtp_helo_timeout=5 -o smtp_connect_timeout=5
showq     unix  n       -       n       -       -       showq
error     unix  -       -       n       -       -       error
retry     unix  -       -       n       -       -       error
discard   unix  -       -       n       -       -       discard
local     unix  -       n       n       -       -       local
virtual   unix  -       n       n       -       -       virtual
lmtp      unix  -       -       n       -       -       lmtp
anvil     unix  -       -       n       -       1       anvil
scache      unix    -    -    n    -    1    scache

0.0.0.0:925    inet    n    -    n    -    -    smptd
    -o content_filter=amavislmtp:unix:filtry/amavis-lmtp
    -o receive_override_options=no_address_mappings
    -o syslog_name=postfix/smtpd925

127.0.0.1:10025    inet    n    -    n    -    -    smtpd
    -o content_filter=
    -o local_recipient_maps=
    -o relay_recipient_maps=
    -o smtpd_tls_auth_only=no
    -o smtpd_tls_security_level=may
    -o smtpd_client_restrictions=permit_sasl_authenticated,reject
    -o smtpd_restriction_classes=
    -o smtpd_helo_restrictions=
    -o smtpd_sender_restrictions=
    -o mynetworks=127.0.0.0/8
    -o smtpd_recipient_restrictions=permit_mynetworks,reject
    -o strict_rfc821_envelopes=yes
    -o smtpd_error_sleep_time=0
    -o smtpd_soft_error_limit=1001
    -o smtpd_hard_error_limit=1000
    -o milter_default_action=accept
    -o mynetworks_style=host
    -o receive_override_options=no_unknown_recipient_checks,no_header_body_checks
    -o milter_macro_daemon_name=ORIGINATING

amavislmtp    unix    -    -    n    -    2    lmtp
    -o lmtp_data_done_timeout=1200
    -o lmtp_send_xforward_command=yes
    -o content_filter=
    -o syslog_name=amavis/amavislmtp

smtpu    unix    n    -    y    -    -    smtpd
    -o content_filter=spamassassin
    -o smtpd_tls_security_level=may
    -o local_recipient_maps=
    -o smtpd_restriction_classes=
    -o smtpd_client_restrictions=
    -o smtpd_helo_restrictions=
    -o smtpd_sender_restrictions=
    -o smtpd_recipient_restrictions=permit_mynetworks,reject
    -o mynetworks=127.0.0.0/8
    -o strict_rfc821_envelopes=yes
    -o smtpd_error_sleep_time=0
    -o smtpd_soft_error_limit=1001
    -o smtpd_hard_error_limit=1000
    -o receive_override_options=no_unknown_recipient_checks,no_header_body_checks
    -o syslog_name=postfix/public-smtpu
    -o milter_macro_daemon_name=ORIGINATING

spamassassin   unix    -       n       n       -       -       pipe
       flags=Rq    user=spamd    argv=/usr/bin/spamc -U /var/run/spamd.sock -u ${user}@${domain} -e /usr/sbin/sendmail  -f ${sender}    ${recipient}

spfperl        unix    -       n       n       -      -       spawn
       user=nobody argv=/usr/libexec/postfix/spfperl
       -o syslog_name=postfix/spfperl

dovecot        unix    -       n       n       -       -       pipe
       flags=DRhu user=mail:mail argv=/usr/libexec/dovecot/deliver -f ${sender} -a ${recipient} -d ${user}@${nexthop}
       -o syslog_name=dovecote

mynews       unix    -        n       n       -       -       pipe
    user=poligon:poligon argv=/usr/local/bin/mynews.pl

challenge        unix    -    n    n    -    -    pipe
    user=fileserv:fileserv argv=/usr/local/bin/response.pl

Jacekalex · 2015-02-10 19:27:05

Kod:

spamassassin   unix    -       n       n       -       -       pipe
       flags=Rq    user=spamd    argv=/usr/bin/spamc -U /var/run/spamd.sock -u ${user}@${domain} -e /usr/sbin/sendmail  -f ${sender}    ${recipient}

Ten transport nie idzie przez Amavisa, tylko bezpośrednio pcha pocztę z Postfixa do SA, który ją zwraca przez sendmaila, mam dokładnie tak samo.

To z resztą wygląda na konfig, który kiedyś dostałeś od... :D

Powinien grzecznie załapać nazwę filtra.

Daj na te swoje filtry wartości domyślne w local.cf, a potem spróbuj je nadpisać w bazie per/user.
Np tak:

Kod:

header LOCAL_DEMONSTRATION_SUBJECT      Subject =~ /\btest\b/i
score LOCAL_DEMONSTRATION_SUBJECT       0.1

Wtedy tak czy inaczej, punkty powinny się pokazać w wyniku SA, i będzie jasny obraz sytuacji.

Ostatnio edytowany przez Jacekalex (2015-02-10 19:29:32)

winnetou · 2015-02-10 19:29:01

tak, do Twój konfig (z lekkimi przeróbkami na własne potrzeby). To ze powinien to wiem, ale nie łąpie i nie wiem gdzie szukać przyczyny...

[color=red]EDIT[/color]
No to by się pojaśniło. Najpierw trzeba dodać regułkę do local.cf potem można nadpisać w bazie - dzięki

Time (s)	Query
0.00010	SET CHARSET latin2
0.00004	SET NAMES latin2
0.00103	SELECT u., g., o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='3.21.246.53' WHERE u.id=1
0.00065	REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '3.21.246.53', 1732809482)
0.00054	SELECT * FROM punbb_online WHERE logged<1732809182
0.00083	SELECT topic_id FROM punbb_posts WHERE id=282731
0.00005	SELECT id FROM punbb_posts WHERE topic_id=27016 ORDER BY posted
0.00060	SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=27016 AND t.moved_to IS NULL
0.00006	SELECT search_for, replace_with FROM punbb_censoring
0.00132	SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=27016 ORDER BY p.id LIMIT 0,25
0.00081	UPDATE punbb_topics SET num_views=num_views+1 WHERE id=27016
Total query time: 0.00603 s

Forum Debian Users Gang

Ogłoszenie

#1 2015-02-10 17:50:53

winnetou - złodziej wirków ]:->

[Solved] SpamAssassin + MySQL + allow_user_rules

Kod:

Kod:

Kod:

Kod:

Kod:

#2 2015-02-10 18:26:21

Jacekalex - Podobno człowiek...;)

Re: [Solved] SpamAssassin + MySQL + allow_user_rules

Kod:

Kod:

#3 2015-02-10 19:00:37

winnetou - złodziej wirków ]:->

Re: [Solved] SpamAssassin + MySQL + allow_user_rules

Kod:

Kod:

#4 2015-02-10 19:04:48

Jacekalex - Podobno człowiek...;)

Re: [Solved] SpamAssassin + MySQL + allow_user_rules

#5 2015-02-10 19:10:38

winnetou - złodziej wirków ]:->

Re: [Solved] SpamAssassin + MySQL + allow_user_rules

Kod:

#6 2015-02-10 19:27:05

Jacekalex - Podobno człowiek...;)

Re: [Solved] SpamAssassin + MySQL + allow_user_rules

Kod:

Kod:

#7 2015-02-10 19:29:01

winnetou - złodziej wirków ]:->

Re: [Solved] SpamAssassin + MySQL + allow_user_rules

Stopka forum

Informacje debugowania