Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!
Ogłoszenie
Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.
#1 2018-08-21 14:44:59
Raptoor2 - 
Użytkownik
- Raptoor2
- Użytkownik
- Zarejestrowany: 2017-08-22
mysqld - analiza logów, użycie procesora itd
witam!
Mam pewien problem, podstawowa konfiguracja LAMP.
Posiadam niewielki sklep i od czasu do czasu strona ładuje się ponad 20 sekund.
Htop pokazuje 100% zuzycie procesora przez proces mysql.
Prawdopodobnie jest to kwestia optymalizacji zapytań generowanych przez aplikacji do wczytywania danych na stronę.
Sprawdzając logi wykryłem kilka zapytań, które pokazuje taką o to informacje
Kod:
# Query_time: 13.299233 Lock_time: 0.000133 Rows_sent: 594 Rows_examined: 6283809 # Query_time: 13.507242 Lock_time: 0.000190 Rows_sent: 594 Rows_examined: 6283809
Czy dobre to rozumiem? Czas jak był potrzebny na wykonanie to AŻ(!) 13 sekund, przesłanych zostało 594 wierszy, a sprawdzonych w bazie ~6283809 tak?
oraz
Kod:
# Query_time: 13.201916 Lock_time: 0.000014 Rows_sent: 15042 Rows_examined: 15042
Tutaj zabójcza jest liczba przesłanych wierszy, jest ich aż [b]15042[/b]!
Czy to może być jeden z powodów tak zamulającego procesu mysql?
Gdzie konkretnie szukać przydatnych informacji? Póki co zbadalem cat /var/log/mysql/mysql-slow.log i wlasnie to odkrylem.
Za wszelkie porady sto-krotne dzieki!
Ostatnio edytowany przez Raptoor2 (2018-08-21 14:45:41)
Offline
#2 2018-08-22 14:54:09
Jacekalex - Podobno człowiek...;)
- Jacekalex
- Podobno człowiek...;)
- Skąd: /dev/urandom
- Zarejestrowany: 2008-01-07
Re: mysqld - analiza logów, użycie procesora itd
Jakiś kiepsko zaprojektowany ten sklep chyba, najnowsze Prestashop czy Magentoo takich problemów zazwyczaj nie mają.
Sam piszesz ten sklep? Czy to może jakaś znana na świecie aplikacja sklepu?
Pozdro
W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)
Offline
#3 2018-08-22 17:07:29
Raptoor2 - Użytkownik
- Raptoor2
- Użytkownik
- Zarejestrowany: 2017-08-22
Re: mysqld - analiza logów, użycie procesora itd
Presta shop, a możesz mi potiwerdzić lub zanegować czy dobrze zrozumialem logi?
Offline
#4 2018-08-22 19:49:16
Jacekalex - Podobno człowiek...;)
- Jacekalex
- Podobno człowiek...;)
- Skąd: /dev/urandom
- Zarejestrowany: 2008-01-07
Re: mysqld - analiza logów, użycie procesora itd
Która wersja Prestashopa, ile tam masz produktów i zamówień liczbowo?
W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)
Offline
#5 2018-08-23 14:23:15
Raptoor2 - Użytkownik
- Raptoor2
- Użytkownik
- Zarejestrowany: 2017-08-22
Re: mysqld - analiza logów, użycie procesora itd
najnowsza
jesteś w stanie odpowiedzieć mi czy dobrze zoruzmialem logi w peirwszym poście?
Offline
#6 2018-08-23 14:42:56
Jacekalex - Podobno człowiek...;)
- Jacekalex
- Podobno człowiek...;)
- Skąd: /dev/urandom
- Zarejestrowany: 2008-01-07
Re: mysqld - analiza logów, użycie procesora itd
To by pewnie trzeba zajrzeć do tego serwera.
Coś tam pewnie masz pochrzanione w tej Preście albo na serwerze.
I najnowsza to nie jest odpowiedź, bo Presta-1.6.1 i Presta-1.7 mają teraz najnowsze wersje, ale techniczne to są dwa różne sklepy.
Presta 1.7 podobnie jak np Magentoo przez php-composera ciągnie pierdylion zależności php prosto z netu, Presta-1.6 nie ma takich wymagań.
Z resztą "podstawowa konfiuguracja LAMP" to też dosyć idiotyczna definicja,
która prawie nic nie mówi o dokładnej konfiguracji systemu.
Poza tym na jakim dokładnie sprzęcie i systemie masz tą "podstawową konfiugurację LAMP"?
Pytam, bo sklep tej wielkości (mam na myśli samą wielkość skryptu Prestashop)
to nie Wordpress, na każdym sprzęcie na pewno nie ruszy.
To też jest dziwne:
[b]Rows_examined: 6283809[/b]
Skąd się wzięło ponad 6 mln rekordów w bazie w jakiejkolwiek tabeli?
Masz może 6 mln produktów czy 6 mln klientów?
Ostatnio edytowany przez Jacekalex (2018-08-23 14:58:56)
W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)
Offline
#7 2018-08-27 17:10:21
Raptoor2 - Użytkownik
- Raptoor2
- Użytkownik
- Zarejestrowany: 2017-08-22
Re: mysqld - analiza logów, użycie procesora itd
Nie, nie mam aż tyle niczego.
Generalnie jeżeli chodzi o koniguracje to jest to custom build z Direct admina.
Czytałem w internecie że konfiguracje z Direct Admina nie są zbyt dobre i potem powstają tego typu sytuację.
Offline
#8 2018-08-27 18:33:14
Jacekalex - Podobno człowiek...;)
- Jacekalex
- Podobno człowiek...;)
- Skąd: /dev/urandom
- Zarejestrowany: 2008-01-07
Re: mysqld - analiza logów, użycie procesora itd
Po co Ci DA?
Postaw czysty system bez DA i na nim skonfiguruj Mariadb, PHP-PFM i Nignxa czy Apacha.
Ostatnio stawiałem taki system i Prestashop 1.7 śmigał na nim bez problemu.
Podobnie jak Presta 1.6 i Magento 2.2.
Przy czym na nowe sklepy używające Composera, jak Presta1.7 musisz mieć najlepiej serwer dedykowany albo co najmniej mocnego VPSa (4 rdzenie i min 4-8GB RAM).
Na serwerku za 10-15 zł to można Wordpressa trzymać, ale nic cieższego bym na czymś takim nie trzymał.
Pozdro
W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)
Offline
#9 2018-08-30 13:32:31
Raptoor2 - Użytkownik
- Raptoor2
- Użytkownik
- Zarejestrowany: 2017-08-22
Re: mysqld - analiza logów, użycie procesora itd
DA potrzebne do zarządzania kotami pocztowymi itd
Jak masz może jakiś inny ciekawy panel to mozesz sie podzielic zeby mozna bylo zarządzac serwerem przez przeglądarke (dl wygody)
Offline
#10 2018-08-30 17:00:23
ethanak - Użytkownik
Re: mysqld - analiza logów, użycie procesora itd
DA to chyba najgorsze co Cię może spotkać - dla użytkownika wspaniałe i proste, dla admina wymagające dobrej znajomości systemu na którym to instalujesz, plus bardzo (konkretniej: [b]bardzo[/b]) dobrej znajomości wszystkich używanych programów.
Jeśli używasz DA do konfiguracji kont pocztowych - jak sobie poradziłeś z babolem sprzed dwóch miesięcy? Mam nadzieję że wiesz z którym...
Nim mechaniczne larum zagrasz mi, kanalio,
głosząc nadejście Javy - śmiertelnego wroga!
[i]Zespół Adwokacki Dyskrecja[/i]
Offline
#11 2018-08-30 19:03:09
Jacekalex - Podobno człowiek...;)
- Jacekalex
- Podobno człowiek...;)
- Skąd: /dev/urandom
- Zarejestrowany: 2008-01-07
Re: mysqld - analiza logów, użycie procesora itd
DA potrzebne do zarządzania kotami pocztowymi itd[/quote]
Do zarządzania pocztami kontami email, to się odpala Postfixa, Dovecota i Spamassasina ze wsparciem dla MySql/Postgresql, potem do dodawania i modyfikowania kont pocztowych jest [b]Postfixadmin[/b] albo nawet Phpmyadmin czy Phppgadmin (w czystej bazie też się to da robić), a userze swoimi skrzynkami mogą się bawić przez np w webmailu Roundcube, przez wtyczki sieverules, spamsassina (sauserprefs) i podobne.
DA do poczty, to 5 razy wiecej problemów, niż ten "łatwy" panel jest warty.Ostatnio edytowany przez Jacekalex (2018-08-30 19:43:18)
W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)
Offline
#12 2018-10-01 12:01:45
Raptoor2 - Użytkownik
- Raptoor2
- Użytkownik
- Zarejestrowany: 2017-08-22
Re: mysqld - analiza logów, użycie procesora itd
Hej, czy ktoś jest w stanie odpowiedzieć na moje pytanie, bo poki co temat zjechal na inny :)
Offline
#13 2018-10-01 13:07:49
ethanak - Użytkownik
Re: mysqld - analiza logów, użycie procesora itd
Błędnie skonstruowane zapytanie (generuje iloczyn kartezjański).
Włącz pełne logowanie (na chwilę, bo Ci logi cały dysk zajmą) i poszukaj, które to genialne zapytanie się tak zachowuje.
Nim mechaniczne larum zagrasz mi, kanalio,
głosząc nadejście Javy - śmiertelnego wroga!
[i]Zespół Adwokacki Dyskrecja[/i]
Offline
#14 2018-10-08 11:41:13
Raptoor2 - Użytkownik
- Raptoor2
- Użytkownik
- Zarejestrowany: 2017-08-22
Re: mysqld - analiza logów, użycie procesora itd
Dziękuje bardzo! i to jest odpowiedź :)
czy jeeli bylby to jakis zapetlony atak to logi tez mi to w jakis sposob pokaza?
Offline
#15 2018-10-08 13:15:53
ethanak - Użytkownik
Re: mysqld - analiza logów, użycie procesora itd
A masz mysqla otwartego na cały świat? Poza tym jaki atak, logi apacza nic na ten temat nie mówią?
Nim mechaniczne larum zagrasz mi, kanalio,
głosząc nadejście Javy - śmiertelnego wroga!
[i]Zespół Adwokacki Dyskrecja[/i]
Offline
#16 2018-10-08 20:05:41
Jacekalex - Podobno człowiek...;)
- Jacekalex
- Podobno człowiek...;)
- Skąd: /dev/urandom
- Zarejestrowany: 2008-01-07
Re: mysqld - analiza logów, użycie procesora itd
[quote=ethanak]A masz mysqla otwartego na cały świat? Poza tym jaki atak, logi apacza nic na ten temat nie mówią?[/quote]
Logi Apacha mówią, że ja jestem za głupi na DA ;).
Co do Autora, to dokładniejsza analiza logów może być chyba troszkę problematyczna.
Przynajmniej tyle wynika z logów DA. xD
Ostatnio edytowany przez Jacekalex (2018-10-08 20:07:56)
W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)
Offline
#17 2018-10-09 12:46:14
ethanak - Użytkownik
Re: mysqld - analiza logów, użycie procesora itd
Akurat logi Apacza w DA są całkiem niegłupio zorganizowane, tylko trzeba się do tej (przyznam, że nietypowej) organizacji przyzwyczaić.
Nim mechaniczne larum zagrasz mi, kanalio,
głosząc nadejście Javy - śmiertelnego wroga!
[i]Zespół Adwokacki Dyskrecja[/i]
Offline
Informacje debugowania
| Time (s) | Query |
|---|---|
| 0.00018 | SET CHARSET latin2 |
| 0.00007 | SET NAMES latin2 |
| 0.00116 | SELECT u.*, g.*, o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='3.133.157.231' WHERE u.id=1 |
| 0.00067 | REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '3.133.157.231', 1732228662) |
| 0.00059 | SELECT * FROM punbb_online WHERE logged<1732228362 |
| 0.00116 | DELETE FROM punbb_online WHERE ident='54.36.148.30' |
| 0.00080 | SELECT topic_id FROM punbb_posts WHERE id=320852 |
| 0.00007 | SELECT id FROM punbb_posts WHERE topic_id=30595 ORDER BY posted |
| 0.00063 | SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=30595 AND t.moved_to IS NULL |
| 0.00006 | SELECT search_for, replace_with FROM punbb_censoring |
| 0.00340 | SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=30595 ORDER BY p.id LIMIT 0,25 |
| 0.00088 | UPDATE punbb_topics SET num_views=num_views+1 WHERE id=30595 |
| Total query time: 0.00967 s | |