Un protocol care permite administratorilor de site-ul Web pentru a indica vizită în roboţi care părţi din site-ul lor nu ar trebui să fie vizitat de catre robot.