GoldenLine
Zaloguj się
Wojciech K.

Wojciech K. realizator pomysłów
własnych

Temat: świeżo zarejestrowane domeny, a wizyty botów...

oświećcie mnie....
jak to możliwe, że domeny .pl, które porejestrowałem, już po kilku dniach są odwiedzane przez boty / crawlery ?

przecież:
- NASK od 2006 roku nie publikuje świeżego hostcounta (pl.output)
- od dobrych 7-8 lat na serwerach DNS (np. w nasku) nie można wykonać AXFR (np. host -la pl.)
- nask publikuje jedynie deleted_domains.txt
- partnerzy nask nie mają kopii "wszystkiego", bo pytają via EPP centralnie serwer nasku

skąd więc dane o świeżo zarejestrowanych domenach trafiają do botów np. Googlebota?

(jak na razie jedyne "legalne" wyjaśnienie, jakie mi przychodzi do głowy, jest takie, że ktoś kiedyś taką domenę miał i boty regularnie sprawdzają, czy "odżyła")
Link do wypowiedziLink
Wojciech K.

Wojciech K. realizator pomysłów
własnych

Temat: świeżo zarejestrowane domeny, a wizyty botów...

... dziś znów to miałem - świeżo zarejestrowana domena - zdążyłem tylko za nią zapłacić rejestratorowi - nigdzie tego adresu nie wpisywałem - miałem otwarte okienko SSH z podglądem logów serwera - minęło pół godziny i jakiś bot z anglii łączył się HTTP prosząc o adres http://www.świeżadomena.pl/
Link do wypowiedziLink
Marcin Nabiałek

Marcin Nabiałek Certyfikowany
programista PHP i
Laravel

Temat: świeżo zarejestrowane domeny, a wizyty botów...

Dokładnie tak może być że domena była kiedyś zarejestrowana. Wpisz sobie w Google "www.świeżadomena.pl" i wtedy zobaczysz czy gdzieś nazwa domeny się pojawiała i czy prowadzą do niej jakieś linki
Link do wypowiedziLink
Mirosław Ratman

Mirosław Ratman Manager IT,
Architekt systemów
@Avast, Founder
@aSyncro ...

Temat: świeżo zarejestrowane domeny, a wizyty botów...

http://www.archive.org/web/web.php - ale niekoniecznie sie tam mogla pojawic
Link do wypowiedziLink
Wojciech J.

Wojciech J. mistrz wwwujitsu

Temat: świeżo zarejestrowane domeny, a wizyty botów...

Jeśli trzymasz na jednym koncie/serwerze kilka domen, to wystarczy reverse IP lookup i DNS lookup, a wtedy sprawa staje się jasna.
Nie wiem jednak czy crawlery korzystają z takich metod, bo to dość czasochłonna sprawa.
Link do wypowiedziLink
Wojciech K.

Wojciech K. realizator pomysłów
własnych

Temat: świeżo zarejestrowane domeny, a wizyty botów...

Wojciech J.:
Jeśli trzymasz na jednym koncie/serwerze kilka domen, to wystarczy reverse IP lookup i DNS lookup, a wtedy sprawa staje się jasna.

nieee... moje IP jest resolvowane na hosta serwer.mojastaradomena.pl - nie da się więc przez revDNS odkryć inne domeny.
natomiast boty wchodzą prosząc w nagłówku o: "Host: http://nowadomena.pl"

google dla większości tych domen nie dają żadnej odpowiedzi

kilka z tych domen znalazłem w starym hostcount z np. 2003 roku.
(przez kilka lat domena nie istniała, ktoś nie opłacił np. w 2005 roku, a ponieważ wtedy nie było zabaw w przechwytywanie, nikt tego nie zauważył ;)
- wygląda więc na to, że boty czerpią ze staaarych hostcountów :)
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

domeny eu




Wyślij zaproszenie do
Anuluj