Services

Search engine optimization
Conversion optimization
Search engines advertisement

SEO-Lexikon

A B C D E F G H I J K L M N O P Q R S T U V W

Robots.txt

Auf Grundlage des Robots-Exclusion-Standard-Protokolls von 1994 – inzwischen allgemein anerkannt, eine Ergänzung wurde bereits veröffentlicht bzw. vorgeschlagen – besucht ein Webcrawler (robot, zum Beispiel googlebot) zuerst die robots.txt - Datei einer Webseite, die sich im Stammverzeichnis (root) befindet. Diese Datei ermöglicht dem Webmaster, den Crawlern individuelle Anweisungen zu geben. Dabei geht es zum Beispiel darum, einem oder mehreren bestimmten robots den Inhalt der Website teilweise zu versperren, etwa wenn sich die Informationen als ungültig, weil überholt, erwiesen haben und eine Neubearbeitung der jeweiligen Unterseiten einer Domain noch ansteht. Suchmaschinenrobots halten sich in der Regel an die Anordnungen; es gibt aber auch unseriöse robots wie etwa Email-Sammler oder Gästebuch-Spammer, die die Anweisungen ignorieren. Zu beachten ist bei der in der robots.txt - Datei aufgestellten Liste, dass ein Suchmaschinenrobot bei dem ersten Eintrag anhält, der für ihn bestimmt ist. Steht also ein allgemeiner Eintrag für alle Suchmaschinen vor einem speziellen für einen bestimmten Crawler, so reagiert er auf den ersten Eintrag. Neben dem robots.txt können auch die Meta-Tags dazu dienen, den – „freundlichen“ – Crawlern Anweisungen zu erteilen


<< zurück

<< Referrer
Sandbox >>

Professionelle Services für Suchmaschinenoptimierung: Webconomy GmbH
Airborn

Sie entscheiden, wie sehr Sie wachsen möchten!

Contact us without obligation

free hotline
0800-8809440

Brought to the top:
Humanic Otto
Casestudies:
Kulturhauptstadt Europas 2010
Europäische Reisekommission
Search engine optimization
Search engines advertisement
Conversion-tracking optimization
Webconomy

Google certified Partner

Valid XHTML 1.0!

© 2012, Webconomy internet commerce GmbH
Robots.txt: Lexikon Suchmaschinenoptimierung