Wprowadzenie Podstawowe informacje o Google API ...zsi.tech.us.edu.pl/~anowak/files/SMalinowski.pdfperla, języka Java, technologi .net, itp. Szymon Malinowski Google API Wprowadzenie

WprowadzeniePodstawowe informacje o Google APIPraktyczne wykorzystanie Google API

Informacje dodatkowe

Google API

Szymon Malinowski

Instytut Informatyki i Nauki o Materiałach

Sosnowiec, 14 listopada 2006

Szymon Malinowski Google API

Wykorzystywanie wyszukiwarek internetowychPowstanie Google API

Początki wyszukiwarek

Wyszukiwarki po pojawieniu się w sieci, były narażone - zestrony wielu użytkowników na wybieranie danych. Twórcywitryn takich jak AltaVista, czy Excite nie przejmowali sięzbytnio użytkownikami piszącymi programy w języku Perl,które pobierały dane ze stron obciążając w znaczny sposóbserwery.

Google postępowało od zawsze w zupełnie odwrotny sposób.Zawsze zabraniało innym wyszukiwarkom korzystania zeswoich wyników bez uzyskania odpowiedniej licencji i robiłowszystko, by zablokować niezidentyfikowane agenty www, jakmoduł Perl LWP::Simple, a nawet polecenia wywoływane zlinuxowego wgeta - blokując adresy ip.

Początki wyszukiwarek

Wyszukiwarki po pojawieniu się w sieci, były narażone - zestrony wielu użytkowników na wybieranie danych. Twórcywitryn takich jak AltaVista, czy Excite nie przejmowali sięzbytnio użytkownikami piszącymi programy w języku Perl,które pobierały dane ze stron obciążając w znaczny sposóbserwery.

Google postępowało od zawsze w zupełnie odwrotny sposób.Zawsze zabraniało innym wyszukiwarkom korzystania zeswoich wyników bez uzyskania odpowiedniej licencji i robiłowszystko, by zablokować niezidentyfikowane agenty www, jakmoduł Perl LWP::Simple, a nawet polecenia wywoływane zlinuxowego wgeta - blokując adresy ip.

Początki wyszukiwarek cd. . .

Google ma do tego prawo: w końcu technologia wyszukiwania,którą wykorzystuje, baza danych, oraz pamięć obliczeniowaserwerów, należy do firmy. Niestety restrykcje te powodują żezwykli wielbiciele Google nie mogą wykorzystać bogatej bazyinformacji w sposób automatyczny.

Początki Google API

Wiosną 2002 roku Google powołało do życia Google WebAPI(http://api.google.com/), zmieniając jednocześniewcześniej obowiązujące warunki.

Google Web API pozwala wykonywać zapytania kierowanedo wyszukiwarki google korzystając ze skryptów php, pythona,perla, języka Java, technologi .net, itp.

Początki Google API

Wiosną 2002 roku Google powołało do życia Google WebAPI(http://api.google.com/), zmieniając jednocześniewcześniej obowiązujące warunki.

Google Web API pozwala wykonywać zapytania kierowanedo wyszukiwarki google korzystając ze skryptów php, pythona,perla, języka Java, technologi .net, itp.

RejestracjaOgraniczenia

Zakładanie konta

Aby wykorzystać Google Web API, potrzebujemy kluczaprojektanta, który można uzyskać rejestrując się korzystając zodnośnika od strony pobierania Google SOAP Search APIDeveloper’s Kit:

http://code.google.com/apis/soapsearch/download.html

Zakładanie konta

Aby wykorzystać Google Web API, potrzebujemy kluczaprojektanta, który można uzyskać rejestrując się korzystając zodnośnika od strony pobierania Google SOAP Search APIDeveloper’s Kit:

http://code.google.com/apis/soapsearch/download.html

Zakładanie konta cd. . .

Warunki korzystania z Google

1 Google nie prowadzi nadzoru nad witrynami, które umieszczaw swoim indeksie. Google API może zwrócić wyniki, któreużytkownik może uznać za nieporządane.

2 Google API może być wykorzystywane jedynie do użytkuprywatnego.

3 Nie można modyfikować znaków towarowych Google, którepojawiają się w Google API.

4 Google nie bierze odpowiedzialności za wykorzystanie intefejsuAPI. Jest to program w wersji testowej.

5 Można zaznaczyć że stworzony program wykorzystuje GoogleAPI, ale nie w formie która:

naraża na szwank reputacje, narusza lub deprecjonuje znakitowarowe Google,łamie prawo,narusza prawa odób trzecich.

5 Można zaznaczyć że stworzony program wykorzystuje GoogleAPI, ale nie w formie która:naraża na szwank reputacje, narusza lub deprecjonuje znakitowarowe Google,

łamie prawo,narusza prawa odób trzecich.

5 Można zaznaczyć że stworzony program wykorzystuje GoogleAPI, ale nie w formie która:naraża na szwank reputacje, narusza lub deprecjonuje znakitowarowe Google,łamie prawo,

narusza prawa odób trzecich.

5 Można zaznaczyć że stworzony program wykorzystuje GoogleAPI, ale nie w formie która:naraża na szwank reputacje, narusza lub deprecjonuje znakitowarowe Google,łamie prawo,narusza prawa odób trzecich.

Ograniczenia wykorzystania API

1 limit 1000 zapytań do google dziennie;2 niedostępne słowa kluczowe “phonebook:”, “rphonebook:”i “bphonebook:”, służace do przeszukiwania książektelefonicznych w poszukiwaniu osób prywatnych i firm;

3 niedostępne słowo kluczowe “stocks:”;4 ograniczenie do 10 wyników wyszukania;

1 limit 1000 zapytań do google dziennie;

2 niedostępne słowa kluczowe “phonebook:”, “rphonebook:”i “bphonebook:”, służace do przeszukiwania książektelefonicznych w poszukiwaniu osób prywatnych i firm;

3 niedostępne słowo kluczowe “stocks:”;

4 ograniczenie do 10 wyników wyszukania;

Analiza zapytania googlePierwsze krokiZastosowanie Google API

Podstawy zapytania

Polecenie wysyłające zapytanie do google w standardowejaplikacji google ma następującą postać:

Podstawy zapytania

Podstawy zapytania cd. . .

key - miejsce, w którym należy umieścić swój klucz projektantaGoogle, bez klucza zapytanie nie zostanie przetworzone.

query - zapytanie, złożone ze słów kluczowych, zwrotów ispecjalnych elementów składni.

start - przesunięcie, czyli wartość całkowita określająca, odktórego wyniku należy zacząć liczenie przy określeniu 10zwracanych wyników (np dla wartości 200 otrzymujemy wynikiod 200 do 209). Akceptowalne są wartości z zakresu 0-999,ponieważ Google zwraca w zapytaniu 1000 wyników.

maxResults - wartość dodatnia całkowita określająca liczbęwyników, które API ma zwrócić (od 1 do 10).

filter - opcja przyjmuje wartość typu boolean i określa czywyniki przechodzą automatyczne filtrowanie zapytania,usuwające zbliżone do siebie wpisy, oraz wielokrotnepochodzące z tego samego komputera, lub witryny. Przywłączonym filtrowaniu tylko dwa pierwsze wyniki z danejwitryny są umieszczane w zbiorze odpowiedzi.

restrict - dotyczy ograniczenia zakresu wyszukiwania dojednego z wyszukań tematycznych Google, lub określonegokraju. Google posiada cztery ograniczenia tematyczne: U.S.Government (unclesam), Linux (linux), Macintosh (mac) iFreeBSD (bsd). Pełna lista krajów dostępna jest wdokumentacji Google API.

safeSearch - opcja przyjmuje wartość boolean, i określa czyzwracane wyniki będą filtrowane pod wzdlędem zawartości.

lr - skrót pochodzi od angielskiego language restrict i służy dowprowadzania ograniczeń językowych.

ie - skrót pochodzi od angielskiego input encoding i pozwalaokreślić typ kodowania znaków używany w zapytaniauprzesyłanym do API. Dokumentacja mówi że klient powinienkodować zapytania w UTF-8 i spodziewać się wyników w tymkodowaniu. W jednej z pierwszych implementacji Google APIzawierało tablicę opcji kodowania (latin, cyrillic itd.), obecnieżądania w kodowaniu innym niż UTF-8 są ignorowane.

oe - skrót pochodzi od angielskiego output encoding i jak wprzypadku kodowania wejściowego jedyną dopuszczalną opcjąjest UTF-8.

Tworzenie skryptów

Wykorzystanie API

Google API można wykorzystywać na bardzo wiele sposobów.Podczas prezentacji postaram się zaprezentować kilka prostychskryptów wykorzystujących możliwości Google API.

Tworzenie skryptów

Wykorzystanie API

Google API można wykorzystywać na bardzo wiele sposobów.Podczas prezentacji postaram się zaprezentować kilka prostychskryptów wykorzystujących możliwości Google API.

Prosty skrypt w Perlu

Prosty skrypt w Perlu cd. . .

Skrypt w Pythonie

Wyniki skryptu w Pythonie

Skrypt w php utworzony w oparciu o NuSOAP

Skrypt w php utworzony w oparciu o NuSOAP cd. . .

Aplikacje uruchamiane po stronie klienta

Pojawienie się Google API w kwietniu 2002 roku, zainspirowałosetki ludzi do wypróbowania swoich sił w wykorzystaniu źródełdanych Google. Powstało bardzo wiele różnorodnych aplikacji - odbardzo poważnych i przydatnych po zabawne i głupiutkie.

Sprawdzanie permutacji słów

Google API może być bardzo skutecznie wykorzystywane dosprawdzania co tak naprawdę wpływa na wyszukiwane strony.

Z poprzedniej prezentacji wiemy że duży wpływ na wyniki mapowtarzanie słów w zapytaniu, możemy więc napisać prostyskrypt który będzie sprawdzał które z permutacjiwprowadzonych słów dają lepsze wyniki.

Jeśli często korzystamy z podobnych do siebie zapytań,możemy poeksperymentować z takim skryptem i sprawdzićczy inne kombinacje słów używanych przez nas podczaswyszukiwania, nie dają bardziej satysfakcjonujących wyników.

Śledzenie wyników na przestrzeni czasu

Zdarza się że nie interesują nas wyniki wyszukiwania same wsobie, lecz ich ilość.

Jak popularne jest dane słowo kluczowe?

Jak często wymieniane jest dane słowo?

Jak często pojawiają się różne zwroty?

Można również śledzić popularność danego terminu naprzestrzeni czasu, co pozwala śledzić aktualne trendy, i dziękiuzyskanym danym wygenerować wykres prezentujący wzrostzainteresowania danym teminem.

Wizualizacja wyników Google

Większość użytkowników komputerów woli od normalnegoprzekazu tekstowego, prezentacje graficzne. Dla osóbnależących do tej grupy powstał:

TouchGraph Google Browser(http://www.touchgraph.com/TGGoogleBrowser.html)

Jest to aplet Javy autorstwa Alexa Shapiro, który pozwalazacząć od stron, które są podobne do strony pod podanymadresem URL, a następnie przejść do kolejnych stronpodobnych do poprzedniego zestawu itd. aż powstanieolbrzymia mapa węzłów na ekranie.

Odszukiwane są adresy URL podobne do innych adresów URL.Nie wykorzystywane są przy tym żadne słowa kluczowe, leczskala podobieństwa Google.

TouchGraph Google Browser

(http://www.touchgraph.com/TGGoogleBrowser.html)

Zastosowanie Touch Graph w praktyce

Zastosowanie Touch Graph w praktyce cd. . .

Opcje Touch Graph

TouchGraph posiada wiele bardzo przydatnych opcji:

1 Dla każdego węzła możemy pokazać:

tytuł stronyadres URL”punkt” - czyli pierwsze dwie litery tytułu

2 Można zastosować przybliżenie3 Pozwala również przeglądać ”jedynaki” - czyli węzły w grupie,które mają powiązanie tylko z jednym węzłem. (opcja ShowSingles)

Opcje Touch Graph

TouchGraph posiada wiele bardzo przydatnych opcji:1 Dla każdego węzła możemy pokazać:

Opcje Touch Graph

tytuł strony

adres URL”punkt” - czyli pierwsze dwie litery tytułu

Opcje Touch Graph

tytuł stronyadres URL

”punkt” - czyli pierwsze dwie litery tytułu

Opcje Touch Graph

2 Można zastosować przybliżenie

3 Pozwala również przeglądać ”jedynaki” - czyli węzły w grupie,które mają powiązanie tylko z jednym węzłem. (opcja ShowSingles)

Opcje Touch Graph

Opcje Touch Graph cd. . .

1 Dostępna jest również opcja Radius która pozwala naokreślenie ile węzłów będzie widocznych obok węzła, któryzostanie wybrany. Ustawienie opcji 1 powoduje że widocznebędą węzły bezpośrednio powiązane z węzłem wybranym, 2pokaże również węzły powiązane z węzłami bezpośrednimi odwybranego itd.

2 Z rozwijanego menu dostępna jest również opcja określającaliczbę wyników wyszukiwania - ilość pokazywanych powiązań.

Do czego tak właściwie może służyć tego typuwizualizacja?

TouchGraph służy do dwóch rzeczy:

Pozwala zobaczyć powiązania i podobieństwa pomiędzydużymi grupami adresów URL, czego nie można zrobićkorzystając ze zwykłego, płaskiego zobrazowania wyników.

Pozwala na tworzenie list firm znajdujących się na tym samymobszarze i działających w tej samej branży, co jest przydatnekiedy przeprowadzamy badania określonej branży, lub naokreślony temat.

Zwiedzanie sąsiedztwa

Google Neighbourhood to skrypt nieco podobny do TouchGraph,lecz prezentujący wyniki inny sposób.Sąsiedztwo Google to próba uproszczenia skomplikowanej sieci jakąjest Internet i zaprezentowanie powiązań pomiędzy danymiadresami URL.Opiera się na łączach z podanego adresu i tworzy ”sąsiedztwo”witryn, połączonych z tym adresem.Można wypróbować podany skrypt bez konieczności instalacji:http://diveintomark.org/archives/2002/06/04.html←↩#who are the people in your neighbourhood

Kod źródłowy skryptu jest dostępny pod adresem:http://diveintomark.org/projects/misc/neighbor.py.txt

Google Neighbourhood to skrypt nieco podobny do TouchGraph,lecz prezentujący wyniki inny sposób.

Sąsiedztwo Google to próba uproszczenia skomplikowanej sieci jakąjest Internet i zaprezentowanie powiązań pomiędzy danymiadresami URL.Opiera się na łączach z podanego adresu i tworzy ”sąsiedztwo”witryn, połączonych z tym adresem.Można wypróbować podany skrypt bez konieczności instalacji:http://diveintomark.org/archives/2002/06/04.html←↩#who are the people in your neighbourhood

Google Neighbourhood to skrypt nieco podobny do TouchGraph,lecz prezentujący wyniki inny sposób.Sąsiedztwo Google to próba uproszczenia skomplikowanej sieci jakąjest Internet i zaprezentowanie powiązań pomiędzy danymiadresami URL.

Opiera się na łączach z podanego adresu i tworzy ”sąsiedztwo”witryn, połączonych z tym adresem.Można wypróbować podany skrypt bez konieczności instalacji:http://diveintomark.org/archives/2002/06/04.html←↩#who are the people in your neighbourhood

Google Neighbourhood to skrypt nieco podobny do TouchGraph,lecz prezentujący wyniki inny sposób.Sąsiedztwo Google to próba uproszczenia skomplikowanej sieci jakąjest Internet i zaprezentowanie powiązań pomiędzy danymiadresami URL.Opiera się na łączach z podanego adresu i tworzy ”sąsiedztwo”witryn, połączonych z tym adresem.

Można wypróbować podany skrypt bez konieczności instalacji:http://diveintomark.org/archives/2002/06/04.html←↩#who are the people in your neighbourhood

Rezultat zastosowania skryptu sąsiedztwa

Skrypt Google Neighbourhood dla zadanego adresu generujelistę witryn do których można przejść z zadanego adresu, liczbęlinków do danej witryny, oraz URL, za pomocą którego możemyzmienić punkt odniesienia.

Rezultat zastosowania skryptu sąsiedztwa

Skrypt Google Neighbourhood dla zadanego adresu generujelistę witryn do których można przejść z zadanego adresu, liczbęlinków do danej witryny, oraz URL, za pomocą którego możemyzmienić punkt odniesienia.

Konkurs popularności Google

Które słowo jest bardziej popularne?

Jaka pisownia słowa występuje częściej?

Które nazwisko jest częściej wpominane?

Google Smackdown

Odpowiedzi na te pytania można uzyskać wykorzystując skryptGoogle Smackdown.

(http://www.onfocus.com/googlesmack/down.asp)

Google Smackdown autorstwa Paula Bauscha porównujedwa wprowadzone do niego słowa i zwraca informację o tym,które ze słów wygrało konkurs, oraz przybliżoną liczbęwyników dla każdego ze słów.

Google Smackdown

Google Box

Google Box to w zasadzie pole, które udostępnia wyniki danegozapytania google.Możemy umieścić pole Google Box na naszej witrynieinternetowej i korzystając z uruchamiającego się co określony czasskryptu, aktualizować jego zawartość o różnorodne informacje.

Google Box

Google Box to w zasadzie pole, które udostępnia wyniki danegozapytania google.

Możemy umieścić pole Google Box na naszej witrynieinternetowej i korzystając z uruchamiającego się co określony czasskryptu, aktualizować jego zawartość o różnorodne informacje.

Google Box

Google Box to w zasadzie pole, które udostępnia wyniki danegozapytania google.Możemy umieścić pole Google Box na naszej witrynieinternetowej i korzystając z uruchamiającego się co określony czasskryptu, aktualizować jego zawartość o różnorodne informacje.

Google Timely

Google Timely pozwala nam rozszerzyć funkcjonalność polaGoogle Box o wykonywanie zrzutu zaindeksowanego na nowo, lubponownie materiału w określonym momencie w czasie.Dzięki temu skryptowi możemy np. sprawdzić najwyżejzaindeksowane przed tygodniem wyniki wyszukiwania frazy ”googlehacks”, lub (po drobnych modyfikacjach) sprawdzić jakie wynikidawało wyszukiwanie w roku 1999 słowa Linux.

Google Timely

Google Timely pozwala nam rozszerzyć funkcjonalność polaGoogle Box o wykonywanie zrzutu zaindeksowanego na nowo, lubponownie materiału w określonym momencie w czasie.

Dzięki temu skryptowi możemy np. sprawdzić najwyżejzaindeksowane przed tygodniem wyniki wyszukiwania frazy ”googlehacks”, lub (po drobnych modyfikacjach) sprawdzić jakie wynikidawało wyszukiwanie w roku 1999 słowa Linux.

Google Timely

Google Timely pozwala nam rozszerzyć funkcjonalność polaGoogle Box o wykonywanie zrzutu zaindeksowanego na nowo, lubponownie materiału w określonym momencie w czasie.Dzięki temu skryptowi możemy np. sprawdzić najwyżejzaindeksowane przed tygodniem wyniki wyszukiwania frazy ”googlehacks”, lub (po drobnych modyfikacjach) sprawdzić jakie wynikidawało wyszukiwanie w roku 1999 słowa Linux.

Sprawdzanie statystyk książki telefonicznej

Brak dostępu do wyników wyszukiwania z pomocą specjalnegoelementu składni phonebook:, ma w sobie pewne ustępstwo.Mianowicie można z jego pomocą sprawdzić ilość wyników dladanego słowa, czy też wyrażenia.Istnieje prosty skrypt umożliwiający sprawdzenie ilości numerówtelefonu osób prywatnych, czy też pizzerii, z uwzględnieniemmiasta zamieszkania, oraz stanu.

Brak dostępu do wyników wyszukiwania z pomocą specjalnegoelementu składni phonebook:, ma w sobie pewne ustępstwo.Mianowicie można z jego pomocą sprawdzić ilość wyników dladanego słowa, czy też wyrażenia.

Istnieje prosty skrypt umożliwiający sprawdzenie ilości numerówtelefonu osób prywatnych, czy też pizzerii, z uwzględnieniemmiasta zamieszkania, oraz stanu.

Brak dostępu do wyników wyszukiwania z pomocą specjalnegoelementu składni phonebook:, ma w sobie pewne ustępstwo.Mianowicie można z jego pomocą sprawdzić ilość wyników dladanego słowa, czy też wyrażenia.Istnieje prosty skrypt umożliwiający sprawdzenie ilości numerówtelefonu osób prywatnych, czy też pizzerii, z uwzględnieniemmiasta zamieszkania, oraz stanu.

Inne skrypty

Google API Proximity Search - GAPS stworzony przezKevina Shaya pozwala uruchamiać wyszukiwania słowumieszczonych w dowolnej kolejności i rozdzielonych określonąliczbą słów.

Google API Web Search By Host - GAWSH pozwala napobranie listy domen zawierających informację na tematwprowadzonego zapytania.

Google API Relation Browsing Outliner - GARBO powprowadzeniu adresu URL wukonuje wyszukiwanie stron,które łączą się ze wskazanym adresem URL, lub powiązanychz tym adresem URL (wybór opcji w zapytaniu).

Inne skrypty