Robot AxiumBot čte weby jen na žádost člověka, který si v nástroji „Ví o vás AI?“ nechal otestovat konkrétní web. Neprochází internet sám od sebe a nečte víc než úvodní stránku a nejvýš tři podstránky (služby, ceník, kontakt).
Řídí se souborem robots.txt
Když web v robots.txt zakáže token AxiumBot (nebo všechny roboty přes User-agent: *), stránky nečteme a v nálezu uvedeme: „Web nedovoluje automatické čtení. Hodnotíme jen to, co smíme.“
User-agent: AxiumBot Disallow: /
Jak se představuje
Hlavička User-Agent obsahuje AxiumBot/1.0 a odkaz na tuto stránku. Pro kontrolu, jestli web nepouští roboty vyhledávačů, posíláme navíc po jednom požadavku na úvodní stránku s identifikací těchto robotů, jen kvůli porovnání stavového kódu.
Nechcete, abychom váš web testovali?
Podejte námitku a údaje o vašem webu smažeme.