Forum Debian Users Gang

Co to za baza danych?

Pytam, bo serwery bazodanowe lepiej, żeby bazy trzymały na jakimś trwałym nośniku (czytaj dyzio), natomiast zarówno Mysql jak i Postgres potrafią trzymać w buforach zapytania i całe tabele w razie potrzeby, wystarczy im przydzielić odpowiednie limity pamięci na poszczególne bufory.

Np w Mysql masz takie parametry od ustawienia:

[isamchk]
key_buffer                     = 64M
sort_buffer_size             = 64M
read_buffer                 = 64M
write_buffer                 = 64M

[myisamchk]
key_buffer                     = 64M
sort_buffer_size             = 64M
read_buffer                 = 64M
write_buffer                 = 64M

i jeżeli chcesz w której pozycji dać np 64GB RAM, to nie ma z tym problemu.

W Postgresie 9.3 mam:

# - Memory -

shared_buffers = 128MB            # min 128kB
                    # (change requires restart)
temp_buffers = 64MB            # min 800kB
#max_prepared_transactions = 0        # zero disables the feature
                    # (change requires restart)
# Note:  Increasing max_prepared_transactions costs ~600 bytes of shared memory
# per transaction slot, plus lock space (see max_locks_per_transaction).
# It is not advisable to set max_prepared_transactions nonzero unless you
# actively intend to use prepared transactions.
work_mem = 64MB                # min 64kB
maintenance_work_mem = 128MB        # min 1MB
max_stack_depth = 1MB            # min 100kB

Możliwości są spore, dlatego radziłbym poszukać sposobu na tuning wydajnościowy danego systemu bazodanowego, zamiast próbować wymyślać kolo od nowa. ;)

Sznurki:
https://wiki.postgresql.org/wiki/Performance_Optimization
http://www.debianhelp.co.uk/mysqlperformance.htm
http://www.thomas-krenn.com/pl/wiki/Tuning_wydajno%C5%9Bci_MySQL

Pozdro
;-)

Ostatnio edytowany przez Jacekalex (2014-08-09 04:46:43)

Baza może być autorska, ale ważny jest silnik, na jakim pracuje.
Bo chyba silnik tej bazy, to jest jakaś znana technologia, prawda?

To już autor silnika powinien wiedzieć, jak się za to zabrać.

Moim zdaniem, jak to pliki, to może zapisywać na dyziu i w pamięci równocześnie, a czytać je z ramdysku, na dyzia zaglądać po plik, jak go nie znajdzie w ramie.
To już jest do zrobienia w każdym silniku, kernel Linux też tak szuka bibliotek na dyziu, żeby nie wczytywać do pamięci  tej samej biblioteki 57 razy.

RAID1 - ramdysk+SSD mim zdaniem zbyt wielkiego sensu nie ma.

Ostatnio edytowany przez Jacekalex (2014-08-09 13:46:58)

Nie bardzo widzę funkcjonalność takiego rozwiązania.
Rozumiem że możesz sobie wykroić 10 GB RAM na zabawy z indeksami (inaczej nie miałoby to sensu).
Strzelam: postawić wszystko na ramdysku, i okresowo synchronizować z dyskiem.
Zaleta: będzie szybko.
Wada: jak strzeli system to indeksowanie pójdzie w diabły... ale w takiej sytuacji pewnie będziesz miał kilka innych ważniejszych problemów ;)

popraw mnie jeśli się mylę - ale czy RAID1 nie czyta naprzemiennie z wszystkich dysków w macierzy? Bo jeśli tak, to odczyt będziesz miał najwyżej rzędu 2x szybkość SSD... a z zapisem też mogą być sęki (wcale nie jest powiedziane że prędkość zapisu jest taka sama jak prędkość [s]szybszego[/s] wolniejszego dysku).
Do tego zapisanie na tej macierzy nie będzie absolutnie oznaczało zapisanie czegokolwiek na SSD - a chyba zależy Ci na nieulotności danych?
ale jak zaznaczyłem: mogę się mylić, specjalistą w tym zakresie nie jestem.

Ostatnio edytowany przez ethanak (2014-08-09 15:30:43)

Reasumując: koledze wątkotwórcy potrzebny jest po prostu filesystem z cache rzędu 10 GB - a tego się raidem nie robi.

[quote=ethanak]Reasumując: koledze wątkotwórcy potrzebny jest po prostu filesystem z cache rzędu 10 GB - a tego się raidem nie robi.[/quote]
oj tam nie robi, podążaj tam gdzie nie było nigdy nikogo! ;)
[quote=Jacekalex]Do tego też jest memcache.[/quote]
hm, brzmi interesująco musze się tym pobawić

A może odpowiednie ustawienie vm.dirty ?
http://www.thomas-krenn.com/pl/wiki/Podstawowe_informacje_o_Page_Cache_w_Linuksie
http://dug.net.pl/tekst/282/ram__cache_i_dirty_pages/h/dirty

Z tego co widzę to autor potrzebuje szybkiego odczytu a zapisu takiego jak wyrobi dysk SSD.