REP
Robots Exclusion Protocol
Definition
REP (Robots Exclusion Protocol) ist ein Protokoll, mit dem Webseitenbetreiber Suchmaschinen-Crawlern über eine robots.txt-Datei mitteilen, welche Bereiche nicht indexiert werden sollen.
Robots Exclusion Protocol
REP (Robots Exclusion Protocol) ist ein Protokoll, mit dem Webseitenbetreiber Suchmaschinen-Crawlern über eine robots.txt-Datei mitteilen, welche Bereiche nicht indexiert werden sollen.