System Monitorowania Pozycji – Stat4Seo – aby monitorować pozycje stron na dane frazy pobiera stronę wyników wyszukiwania Google, a następnie przy użyciu różnych wzorców i metod w odpowiedni sposób czyta pozycję poszczególnych stron.
Wyszukiwarka Google nie jest oczywiście z tego faktu „zadowolona” i w przypadku gdy wykryje, że jest odpytywana przez automatyczny program, blokuję dostęp danego adres IP do wyników wyszukiwania na okres kilku godzin.
Aby uniknąć wykrycia przez Google (lub inne zaimplementowane wyszukiwarki), skrypt stosuje wiele metod, jednak wraz ze zwiększającą się ilością fraz niezbędne staje się używanie proxy. W Stat4Seo do dyspozycji są 3 możliwości dodania proxy – proxy serwerowe, proxy HTTP, oraz proxy pobierane przez API.
Rodzaje proxy
» Proxy serwerowe, to proxy które stawiamy na własnych serwerach wykupionych w firmach hostingowych. Przykładowo jeżeli posiadamy np. 4 serwery w różnych firmach (a dokładniej, na różnych adresach IP) to możemy zainstalować skrypt na jednym z nich, a z pozostałych korzystać właśnie jako z serwerów proxy. Instalacja systemu lub też korzystanie z serwera jako proxy nie ma żadnego wpływu na istniejące na serwerze inne strony czy skrypty.
» Proxy HTTP, to proxy które możemy kupić (lub też postawić samemu lecz nie jest to takie proste jak z wyżej opisanymi proxy serwerowymi). Proxy HTTP mają format IP:PORT lub IP:PORT:LOGIN:HASŁO.
Przykładowe firmy dostarczające tego typu proxy:
– buyproxies.org
– prywatne.proxymarket.pl
» Proxy z API, umożliwia połączenie skryptu Stat4Seo z zewnętrznym źródłem HTTP proxy. W takim źródle proxy muszą być wypisane – każdej w nowej linijce.
Przykładowe firmy dostarczające tego typu proxy:
– proxygen.pl
– proxylive.pl
Najlepiej sprawdzają się proxy serwerowe oraz proxy prywatne.
Instrukcje instalacji proxy
» Proxy serwerowe:
Na początku należy wybrać adres (miejsce) pod którym chcemy to proxy zainstalować. Dla porządku warto takie proxy zainstalować w jakimś katalogu. Przykładowo jeżeli posiadamy domenę www.moja-domena.pl możemy takie proxy zainstalować w katalogu /proxy/. W tym celu w zakładce „Dodaj proxy” w polu „URL proxy*:” podajemy URL do wybranego adresu, czyli w naszym przypadku
https://www.moja-domena.pl/proxy/Następnie klikamy „Dodaj proxy”. W zwróconym komunikacie pojawi się link do archiwum z unikalną paczką instalacyjną proxy którą następnie należy wgrać w wybraną lokalizację (czyli w naszym przypadku do katalogu www.moja-domena.pl/proxy/. Po wykonaniu tej czynności, w zakładce „Lista proxy” należy kliknąć na „?” przy dodanym właśnie proxy w celu jego aktywowania.
Jeżeli dodatkowo wiemy, że nasz hosting daje dostęp do kilku adresów IP możemy dodać ten sam URL proxy – tym razem, aby uniknąć ponownego wgrywania plików, dodając w postaci z wygenerowanym plkiem np:
https://www.moja-domena.pl/proxy/506445be72d4d.php
podając różne adresy IP w polu „Interfejs proxy:” (jeden pod drugim).
» Proxy HTTP:
Aby dodać nowe HTTP proxy podaj je w polu „Adresy proxy* (IP:PORT):” podając każdy w nowej linijce. Możliwe formaty to IP:PORT lub IP:PORT:LOGIN:HASŁO. Należy brać pod uwagę, że skrypt Stat4Seo nie będzie działał prawidłowo jeżeli podamy mu bardzo dużą liczbę proxy z czego duża część będzie nie sprawna – takie listy można znaleźć za darmo w internecie – lecz nie nadają się one do monitorowania stron. Należy tutaj podawać albo własne proxy, albo zakupione proxy prywatne.
» Proxy z API:
W tym przypadku należy podać w polu „URL do listy proxy:” adres URL do pliku w którym wyświetlać będą się proxy w formacie IP:PORT lub IP:PORT:LOGIN:HASŁO, każdy adres w nowej linijce.
W większości tego typu usług należy też dodać adres IP serwera, na którym mamy stat4seo, do listy adresów IP uprawnionych do korzystania z API. Wykonuje się to w panelu dostawcy proxy.
Od tego momentu skrypt będzie automatycznie pobierał z powyższego adresu nowe proxy co określony (w minutach) przedział czasu – np. co 5 minut. Zalecamy ustawienie częstotliwości pobierania proxy w okolicy 5 minut, zbyt rzadkie obniża skuteczność sprawdzania pozycji, a zbyt często może powodować blokady ze strony dostawców proxy. Podpięcie API proxy, zapewnia dostęp do działających proxy i bezpieczne korzystanie ze skryptu Stat4Seo.
Zalecamy również zaznaczenie opcji „Usuwaj stare proxy przy pobieraniu nowych” aby uniknąć gromadzenia się wielu niedziałających proxy.
Błędy i problemy
» Proxy serwerowe:
1) Proxy zwraca błąd:
bind failed with errno 99: Cannot assign requested addresslub
Couldn't bind to 'ADRES IP'lub
bind failure: Nie można przypisać danego adresu
Takie proxy należy dodać z zaznaczoną opcją „Nie używaj interfejsu: (nie zalecane)”. Gdy dodamy proxy bez tej opcji, system będzie „wymuszał” na danym serwerze proxy użycie konkretnego adresu IP. W sytuacji gdy zwraca ono taki błąd, oznacza to, że serwer nie pozwala na „wymuszenie” używania tego adresu IP (bo np. nie jest dostępny) lub po prostu opcja „wymuszania adresu IP” jest na nim zablokowana.
W momencie gdy skrypt nie może „wymusić” konkretnego adresu IP będzie korzystał z adresu domyślnego ustawionego na serwerze. W wielu przypadkach nie powoduje to żadnych problemów, jednak na części serwerów (np. home.pl czy nazwa.pl) wszystkie zapytania do Google są wysyłane przez jeden, wspólny dla wszystkich kont adres IP – i wtedy bez możliwości „wymuszenie” innego adresu, korzystamy z tego wspólnego, a ten adres IP jest cały czas przez Google zablokowany.
2) Proxy zwraca błąd:
Proxy zwraca nieprawidłową zawartość - brak tagu TITLE lub jest on błędnyPrawdopodobnie na serwerze gdzie zainstalowane zostało proxy brakuje biblioteki cURL lub nie jest ona włączona. Można też spróbować dodać to proxy ponownie, z opcją „Nie używaj interfejsu”.
3) Proxy zwraca błąd:
Proxy zwraca nieprawidłową zawartość, sprawdź je - Proxy zwróciło kod HTTP: 301Wykrywane jest przekierowanie 301. Najczęściej pojawia się to gdy strona gdzie zostało proxy wgrane ma ustawione przekierowanie z http na https – trzeba wtedy takie proxy dodać z docelowym protokołem, czyli https.
4) Proxy zwraca błąd:
Proxy zwraca nieprawidłową zawartość, sprawdź je - Proxy zwróciło kod HTTP: 404Nie znaleziono plików proxy – serwer zwrócił błąd 404.
» Proxy HTTP i proxy z API:
1) Proxy są szybko blokowane:
Jeżeli proxy są bardzo szybko blokowane, to prawdopodobnie port na którym pracują jest zablokowany przez hosting. Tutaj znajduje się opis jak sprawdzić czy porty na serwerze są otwarte.
2) Skrypt bardo długo sprawdza pozycje:
Proxy publiczne – z API – zazwyczaj są dosyć wolne i mają niską skuteczność. W przypadku ich używania warto ręcznie ustawić prędkość sprawdzania zgodnie z opisem dostępnym tutaj.