Robots.txt jako internetový standard?
Protokol pro zakázání přístupu robotům, známý také jako robots.txt (v angličtině: Robots Exclusion Protocol – REP), je součástí internetu už dvacet pět let. Ačkoliv je jedním z nejdůležitějších a nejpoužívanějších prvků na celém webu, nikdy se nestal oficiálním internetovým standardem. V důsledku toho se objevovaly různé interpretace. Nyní by však mělo dojít ke změně. Google na začátku července předložil návrh o standardizaci a modernizaci protokolu.