Über den robots-Tag geben Sie den Suchmaschinen eine Empfehlung, wie sie mit der Webseite umgehen sollen. Beispiel:
<meta name="robots" content="index,
follow,noarchive" />
index,follow ist das Standard-Verhalten und muss eigentlich nicht angegeben werden. Möchten Sie aber beispielsweise, dass die Seite zwar nicht indiziert wird, die enthaltenen Links aber verfolgt werden, ist noindex,follow sinnvoll. Soll die Seite indiziert, Links aber nicht gefolgt werden, hilft index,nofollow weiter.
Aber Vorsicht: Eine Zugangssperre stellt dieses Tag nicht dar, es gibt lediglich Empfehlungen an den Suchmaschinen- Crawler. Das noarchive-Attribut bestimmt, dass Suchmaschinen keine älteren Versionen der Seite im Archiv behalten sollen. Vor allem für Startseiten von Nachrichten- Portalen, die sich ständig verändern, kann dies sehr sinnvoll sein.
Um Duplicate-Content-Probleme mit Suchmaschinen zu vermeiden, lässt sich mit canonical die Haupt-URL für Content definieren. Das ist sinnvoll, wenn der identische Content unter verschiedenen URLs erreichbar ist, was häufig bei CMS und Foren auftritt, aber auch schon, wenn man für seine Seiten eine zusätzliche Druckversion anbietet. Suchmaschinen verwenden dann die Haupt-URL zur Indizierung und ignorieren die weiteren Seiten mit demselben Content. Beispiel:
Codebeispiel:
<link rel="canonical" href="http://
www.domain.com/seite1.html" />
Was auf den ersten Blick wie eine Spielerei aussieht, hat einen hohen praktischen
Nutzen. Definieren Sie ein Favicon, zeigen Browser dieses Logo sowohl
neben der Adresszeile im Browser als auch in den Bookmarks an. Mit einem
Favicon schaffen Sie einen zusätzlichen Wiedererkennungswert für Ihre
Website. Beispiel: Codebeispiel:
<link rel="shortcut icon" href=
"http://www.domain.com/favicon.ico"
type="image/x-icon">