Robots txt
Robots txt ist eine Textdatei mit einem einfach lesbaren Format, wobei sich jede Zeile aus zwei Fehlern zusammensetzt, die durch einen Doppelpunkt getrennt werden. In dieser Textdatei wird festgelegt, welche Inhalte der Webseite von Webcrawlern ausgelesen und verwendet werden dürfen und welche nicht. Insbesondere zum Zwecke der Optimierung für die Suchmaschinen ist diese Datei sehr wichtig.