Upload
michal-klujszo
View
768
Download
1
Embed Size (px)
Citation preview
BYŁ: HiVe
JEST: Szuku-Szuku.pl
Szuku-Szuku.pl
• Szuku-Szuku co to jest?
Szuku-Szuku.pl
• Szuku-Szuku co to jest?
• Co planowałem zrobić...
Szuku-Szuku.pl
• Szuku-Szuku co to jest?
• Co planowałem zrobić...
• Co zostało zrobione...
Szuku-Szuku.pl
• Szuku-Szuku co to jest?
• Co planowałem zrobić...
• Co zostało zrobione...
• Zmiany niektórych założeń...
Szuku-Szuku.pl
• Szuku-Szuku co to jest?
• Co planowałem zrobić...
• Co zostało zrobione...
• Zmiany niektórych założeń...
• Szczegóły...
Szuku-Szuku.pl
• Szuku-Szuku co to jest?
• Co planowałem zrobić...
• Co zostało zrobione...
• Zmiany niektórych założeń...
• Szczegóły...
• Plany na przyszłość...
Szuku-Szuku - Co to jest?
• Oficjalnie:Projekt i wykonanie systemu do rozproszonego wyszukiwania na przykładzie danych osobowych
Szuku-Szuku - Co to jest?
• Oficjalnie:Projekt i wykonanie systemu do rozproszonego wyszukiwania na przykładzie danych osobowych
• Nieoficjalnie:Wyszukiwarka pomagająca znaleźć informacje o naszych znajomych, kontaktach w pracy
Szuku-Szuku - Co miało być?
• Wersja private beta
Szuku-Szuku - Co miało być?
• Wersja private beta
• Interfejs użytkownika
Szuku-Szuku - Co zrobiłem?
• Wersja private beta
Szuku-Szuku - Co zrobiłem?
• Wersja private beta
• Interfejs użytkownika
Szuku-Szuku - Co zrobiłem?
• Wersja private beta
• Interfejs użytkownika
• Algorytmy klastrujące wyniki
Szuku-Szuku - Co zrobiłem?
• Wersja private beta
• Interfejs użytkownika
• Algorytmy klastrujące wyniki
• Zaawansowany crawler
Szuku-Szuku - XI.2007
Szuku-Szuku - III.2008
Szuku-Szuku - IV.2008
Szuku-Szuku - Private Beta
Szuku-Szuku - Interfejs
Szuku-Szuku - Interfejs
Szuku-Szuku - Interfejs
Szuku-Szuku - Interfejs
Szuku-Szuku - Interfejs
Szuku-Szuku - Private Beta
Szuku-Szuku - Zmiany
• Zaskakująco dobre możliwości klastrowania wyników
Szuku-Szuku - Zmiany
• Zaskakująco dobre możliwości klastrowania wyników
• Dobudowanie modułu crawlera
Szuku-Szuku - Zmiany
• Zaskakująco dobre możliwości klastrowania wyników
• Dobudowanie modułu crawlera
• Tworzenie własnej bazy danych na podstawie materiałów dostępnych w sieci
Szuku-Szuku - Infrastruktura
• Do crawlowania / przetwarzania danych potrzeba dużo mocy
Szuku-Szuku - Infrastruktura
• Do crawlowania / przetwarzania danych potrzeba dużo mocy
• Wirtualne serwery
Szuku-Szuku - Infrastruktura
• Do crawlowania / przetwarzania danych potrzeba dużo mocy
• Wirtualne serwery
• Amazon Web Services
Szuku-Szuku - Infrastruktura
• Do crawlowania / przetwarzania danych potrzeba dużo mocy
• Wirtualne serwery
• Amazon Web Services
• Linux Ubuntu Server Edition
Szuku-Szuku - Crawler
0
2250
4500
6750
9000
08:00 10:00 12:00 14:00 16:00 18:00 20:00 22:00 00:00 02:00 04:00 06:00 08:00 10:00 12:00
Crawl szkół z portalu nasza-klasa.pl
Pobranych stron na godzinę
Teraz:•Anonimowa sieć TOR•Sterowanie przez:•telnet•bazę danych
•Cachowanie wyników
W przyszłości:•Rozproszony•Dużo szybszy
Szuku-Szuku - Węzeł
Agenty
Silnik wyszukiwarki
Serwer HTTP
Przeglądarka
Zdarzenia
Web Crawler
Agenty Zewnętrzne
Szuku-Szuku - Plany
• Dokumentacja i stworzenie “właściwej pracy magisterskiej”
Szuku-Szuku - Plany
• Dokumentacja i stworzenie “właściwej pracy magisterskiej”
• Uruchomienie działającej “komercyjnej” wyszukiwarki na podstawie konceptów i algorytmów
Szuku-Szuku - Plany
• Dokumentacja i stworzenie “właściwej pracy magisterskiej”
• Uruchomienie działającej “komercyjnej” wyszukiwarki na podstawie konceptów i algorytmów
• Szukamy chętnych do pracy nad systemem :)
Dziękuję :)
Zapraszam do wypróbowania:
http://slideshare.net/mickek