Manchmal möchte man Suchmaschinen wie Google von der Indexierung einer Seite oder Unterseite auszuschließen.
Es gibt verschiedene Möglichkeiten von noindex-Meta-Tag, über robotos.txt bis hin zu einem HTTP-Header, den X-Robots-Tag.
Über .htaccess und Apache-Webserver lässt sich das mit folgender Anweisung bewerkstelligen:
Header set X-Robots-Tag "noindex, nofollow"