Проверите да ли IP адреса и User-Agent заиста припадају Googlebot-у, Bingbot-у, OpenAI SearchBot-у, Yahoo-у, Seznam-у, Meta (Facebook), Qwant-у, DuckDuckGo-у и другим главним краулерима.
Откривање скрејпера који се представљају као ботови.
Lookup Result
Raw JSON
Често постављана питања
JSON фидови провајдера се кеширају 12 сати; Yandex и Seznam користе статичке званичне CIDR-ове.
Прави доказ је IP адреса: краулер је поуздан само када његова IP адреса спада у званичне CIDR опсеге које је објавио провајдер. User-Agent може помоћи, али је лако лажирати га; скрејпери често копирају UA стрингове док долазе из насумичних мрежа. Ако IP није у опсегу провајдера, означавамо захтев без обзира на то шта UA каже.
Да, IPv4 и IPv6 мреже су потпуно подржане.
Сваки захтев из интерфејса демо уживо троши исти број кредита као директан API позив.