Robots txt warum indexierung deaktivieren inhalte sich mehrmals täglich ändern
Warum soll man das Indexieren der Suchmaschinen mit Disallow: /* deaktivieren, wenn man Inhalte auf der Homepage hat die sich öfters verändern. Gibt es nicht bessere Methoden bspw. mit Meta-Tags
2 Antworten zur Frage
Videos zum Thema
YouTube Videos
Robots.txt - warum indexierung deaktivieren, wenn Inhalte sich mehrmals täglich ändern können?
Kann man da nicht einen Mittelweg finden. Also der Suchmaschine die Seitenstruktur mitgeben und trotzdem nicht immer indexieren lassen.
Wenn sich die Inhalte täglich ändern, lohnt es nicht, sie von einer Suchmaschine indexieren zu lassen. Wenn sie denn je von einem Benutzer bei einer Suchanfrage gefunden werden, sind die Informationen im Index schon veraltet, und damit eher kontraproduktiv, weil der Benutzer auf der Webseite nicht mehr das findet, was er eigentlich sucht.
Grundsätzlich sollte man nur Seiten indizieren lassen, deren URL und Inhalt sich auf absehbare Zeit nicht ändert.
Du kannst die Artikel mit einer Unique URL ausstatten und in einem bestimmten Verzeichnis ablegen, und die entsprechenden index.html oder index.php auf den jeweils aktuellen zeigen lassen.
Dann darf die Suchmaschine das Unterverzeichnis indizieren, und Suchende finden dort auch die Artikel wieder.