NoIndex kann als sogenannter Meta-Tag im Quellcode einer Internetseite hinterlegt werden. Suchmaschinen verstehen diesen Tag als Aufforderung, diese Seite nicht für die Suchergebnisse zu indexieren. Somit erscheint eine Seite mit einem NoIndex-Tag nicht in den Google-Suchergebnissen.
Möchte man ganze Verzeichnisse von der Website nicht von Bots gecrawlet haben, kann diese über die robots.txt gelöst werden. Dadurch lässt sich auch das Crawl-Budget optimieren.
