Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!

Ogłoszenie

Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.

#1  2016-02-14 18:26:43

  lis6502 - Łowca lamerów

lis6502
Łowca lamerów
Skąd: Stalinogród
Zarejestrowany: 2008-12-04

Ewidencjonowanie plików w dużych zbiorach

takich jak moje 200+dvd xD
Ogarniając ostatnio coś z sumami kontrolnymi natknąłem się na fajne narzędzie- deephash. W skrócie generuje ono skróty danych plików, dodatkowo umożliwiając puszczenie dwóch sumokontrolerów (xD) i przechowanie całego szpasu w pliku.
Zrodziło to dwa pytania:
- Czy dwa pliki dla których występuje kolizja MD5 dadzą taki sam hash dla np SHA1? (na logikę to nie, ale kto płyta- wielbłądzi xD)
- Istnieje jakiś soft/ skrypt zbierający takie sumy kontrolne w bazie i na jej podstawie wyłapuje duplikaty w różnych zbiorach?
Taki np fdupes jest genialny, ale nie w przypadku gdy dane występują w różnych katalogach różnych nośników. Przykładowo, namiętnie piracę mp3 z sieci i chcę wiedzieć czy Wodecki- Chałupy już gdzieś mam, a jeśli tak to na jakim nośniku? W sumie informacja o nośniku jest opcjonalna, płyty zbieram do VVV, więc tam sobie ogarnę czy mam już ten plik czy nie.

Offline

 

#2  2016-02-14 18:34:42

  uzytkownikubunt - Zbanowany

uzytkownikubunt
Zbanowany
Zarejestrowany: 2012-04-25

Re: Ewidencjonowanie plików w dużych zbiorach

2725

Ostatnio edytowany przez uzytkownikubunt (2016-12-01 01:34:44)

Offline

 

#3  2016-02-14 20:34:31

  morfik - Cenzor wirtualnego świata

morfik
Cenzor wirtualnego świata
Skąd: ze WSI
Zarejestrowany: 2011-09-15
Serwis

Re: Ewidencjonowanie plików w dużych zbiorach

No nie znowu aż tak ciężko i się [url=https://blog.mozilla.org/security/2014/09/23/phasing-out-certificates-with-sha-1-based-signature-algorithms/]powinno od tego sha1 odejść jak najszybciej.[/url] xD

Offline

 

#4  2016-02-15 10:07:30

  uzytkownikubunt - Zbanowany

uzytkownikubunt
Zbanowany
Zarejestrowany: 2012-04-25

Re: Ewidencjonowanie plików w dużych zbiorach

2727

Ostatnio edytowany przez uzytkownikubunt (2016-12-01 01:34:46)

Offline

 

#5  2016-02-15 20:19:34

  lis6502 - Łowca lamerów

lis6502
Łowca lamerów
Skąd: Stalinogród
Zarejestrowany: 2008-12-04

Re: Ewidencjonowanie plików w dużych zbiorach

No okej, to jedno już mamy ustalone i klepnięte przez Trzech Króli- MD5=! SHA1 pod kątem kolizyj.
Interesował się ktoś kiedyś cheksumowaniem plików do jakiegoś rodzaju bazy?

Offline

 

Stopka forum

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson
Nas ludzie lubią po prostu, a nie klikając w przyciski ;-)

[ Generated in 0.015 seconds, 12 queries executed ]

Informacje debugowania

Time (s) Query
0.00010 SET CHARSET latin2
0.00007 SET NAMES latin2
0.00101 SELECT u.*, g.*, o.logged FROM punbb_users AS u INNER JOIN punbb_groups AS g ON u.group_id=g.g_id LEFT JOIN punbb_online AS o ON o.ident='18.119.105.155' WHERE u.id=1
0.00063 REPLACE INTO punbb_online (user_id, ident, logged) VALUES(1, '18.119.105.155', 1732517515)
0.00057 SELECT * FROM punbb_online WHERE logged<1732517215
0.00492 DELETE FROM punbb_online WHERE ident='54.36.149.6'
0.00174 SELECT topic_id FROM punbb_posts WHERE id=297539
0.00005 SELECT id FROM punbb_posts WHERE topic_id=28280 ORDER BY posted
0.00058 SELECT t.subject, t.closed, t.num_replies, t.sticky, f.id AS forum_id, f.forum_name, f.moderators, fp.post_replies, 0 FROM punbb_topics AS t INNER JOIN punbb_forums AS f ON f.id=t.forum_id LEFT JOIN punbb_forum_perms AS fp ON (fp.forum_id=f.id AND fp.group_id=3) WHERE (fp.read_forum IS NULL OR fp.read_forum=1) AND t.id=28280 AND t.moved_to IS NULL
0.00010 SELECT search_for, replace_with FROM punbb_censoring
0.00146 SELECT u.email, u.title, u.url, u.location, u.use_avatar, u.signature, u.email_setting, u.num_posts, u.registered, u.admin_note, p.id, p.poster AS username, p.poster_id, p.poster_ip, p.poster_email, p.message, p.hide_smilies, p.posted, p.edited, p.edited_by, g.g_id, g.g_user_title, o.user_id AS is_online FROM punbb_posts AS p INNER JOIN punbb_users AS u ON u.id=p.poster_id INNER JOIN punbb_groups AS g ON g.g_id=u.group_id LEFT JOIN punbb_online AS o ON (o.user_id=u.id AND o.user_id!=1 AND o.idle=0) WHERE p.topic_id=28280 ORDER BY p.id LIMIT 0,25
0.00223 UPDATE punbb_topics SET num_views=num_views+1 WHERE id=28280
Total query time: 0.01346 s