Forum Debian Users Gang

MarekO · 2009-12-20 20:06:35

Witam
Założenie projektu jest takie, że importuje do bazy dane z pliku tekstowego generowanego przez zewnętrzny program (windows) aby potem móc przeglądać za pomocą php wykresy np. zmiany temperatury w określonym przedziale czasowym.
Aktualnie sytuacja wygląda tak że program cumulus [url]http://sandaysoft.com/products/cumulus[/url] generuje na początku miesiąca plik o nazwie gru09log.txt który aktualizuje co 5 minut. jeden plik zawiera dane z jednego miesiąca. więc mam już pliki wrz09log.txt, paź09log.txt, lis09log.txt i wspomniany z grudnia. Zawartość takiego pliku wygląda następująco:

Kod:

28-10-09;21:34;3,4;91;2,1;5,0;5,0;270;0,0;0,0;1016,9;126,3;19,1;66;5,0;2,3;3,4
28-10-09;21:39;3,5;92;2,3;5,0;5,0;270;0,0;0,0;1016,9;126,3;19,1;66;5,0;2,4;3,5
28-10-09;21:39;3,5;92;2,3;5,0;5,0;270;0,0;0,0;1016,9;126,3;19,1;66;5,0;2,4;3,5
28-10-09;21:44;3,5;92;2,3;3,6;3,6;270;0,0;0,0;1016,9;126,3;19,0;66;3,6;3,5;3,5

plik z całego miesiąca zajmuje około 700KB (9000 rekordów)
Jak to zautomatyzować żeby mieć aktualne dane ??
Pomysł mam taki żeby wrzucić do crona skrypt, który by raz dziennie przeglądał owy plik i wrzucał do bazy to czego tam jeszcze nie ma. I tu w ogóle nie wiem jak się do tego zabrać.
Drugi problem jest taki, ponieważ plik jest tworzony w winxp pl ma niewłaściwy format daty DD-MM-RR a mysql lubi RR-MM-DD, co skutkuje wpisaniem daty 2028-10-09 oraz oddzielenie dziesiętne tzn. przecinek zamiast kropki co skutkuje wpisaniem liczby całkowitej. podejrzewam że spece od bash/awk są w stanie załatwić oba problemy jednym skryptem.
pozdr.

Ostatnio edytowany przez MarekO (2009-12-20 20:07:37)

kayo · 2009-12-20 22:25:57

Poczytaj o formatowaniu daty w mysql - dla niego format dd-mm-rr to nic nienormalnego, co do przecinka zamiast kropki to stosujesz funkcję REPLACE

Time (s)	Query
0.00009	SET CHARSET latin2
0.00006	SET NAMES latin2
0.00100	SELECT u., g., o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='18.188.110.150' WHERE u.id=1
0.00083	REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '18.188.110.150', 1732620955)
0.00044	SELECT * FROM punbb_online WHERE logged<1732620655
0.00079	DELETE FROM punbb_online WHERE ident='185.191.171.19'
0.00078	DELETE FROM punbb_online WHERE ident='3.129.216.15'
0.00069	SELECT topic_id FROM punbb_posts WHERE id=136928
0.00089	SELECT id FROM punbb_posts WHERE topic_id=15772 ORDER BY posted
0.00085	SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=15772 AND t.moved_to IS NULL
0.00005	SELECT search_for, replace_with FROM punbb_censoring
0.00078	SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=15772 ORDER BY p.id LIMIT 0,25
0.00066	UPDATE punbb_topics SET num_views=num_views+1 WHERE id=15772
Total query time: 0.00791 s

Forum Debian Users Gang

Ogłoszenie

#1 2009-12-20 20:06:35

MarekO - Użytkownik

Prezentacja danych pogodowych - "projekt pogoda"

Kod:

#2 2009-12-20 22:25:57

kayo - Członek DUG

Re: Prezentacja danych pogodowych - "projekt pogoda"

Stopka forum

Informacje debugowania