| 

.NET C# Java Javascript Exception

3
Suchmaschinen verarbeiten in der Regel die Tags <title>, <meta name=…>, Überschriften-Tags (<h1> bis <h6>) und <a>-Tags der Links. Ich habe gehört, das man beeinflussen kann, ob eine Suchmaschine bestimmte Seiten ignorieren soll. Wo finde ich dazu nähere Erläuterungen, praktische Beispiele oder eine allgemeine Anleitung?
News:
06.07.2012
Winfried Bono 31 2
3 Antworten
2
Man kann über eine simple Textdatei (robots.txt) bestimmen, welche Seiten/Verzeichnisse eine Suchmaschine (bzw. der Such-Robot) "ansehen" darf und welche nicht.
Bei SelfHTML gibt es einen recht übersichtlichen kleinen Artikel zu dem Thema: http://de.selfhtml.org/diverses/robots.htm

Sicherstellen, ob sich jeder Robot daran hält, kann man nicht!
Kritische Bereiche einer Webanwendung, wie den gesamten administrativen Bereich, sollte man aus meiner Sicht eh besser via .htaccess sichern.
06.07.2012
Karill Endusa 1,5k 1 9
1
Man kann auch im <head>-Bereich der Seite mit dem meta-Tag dem Crawler sagen was man gerne hätte, z.B. nicht in den Index aufnehmen.

<meta name="robots" content="noindex" />


Analog zu robots.txt gilt auch hier, dass sich nicht alle Crawler daran halten. Bei sensiblen Daten sollte man mit geeigneten Techniken dafür sorgen, dass niemand unberechtigt zugreifen kann. HTTPBasicAuth (was man z.B. in der .htaccess einstellen kann) ist nur über SSL/TLS verschlüsselte Verbindungen sicher.
06.07.2012
phg 1,6k 4
1
Auch "nofollow" sollte in diesem Zusammenhang erwähnt werden. Damit kann man sicher stellen das die Links auf der Seite zu ignorieren. Dabei hat man die Wahl zwischen:

<meta name="robots" content="nofollow">

was so viel bedeutet wie, ALLE Links ignorieren.

oder

<a href="http://www.externer-link.de/" rel="nofollow">...</a>

wodurch ein einzelner Link ignoriert wird.

Dadurch kann man zudem beeinflussen welche verlinkten Seiten (Zielseiten) man in den Genuss der eigenen Reputation kommen lassen möchte, und hat somit direkten Einfluss auf das Pagerank der Zielseite.

Weiter Informationen zu nofollow: Das Link-Attribut rel="nofollow"

Auch verhindet das Attribute das verlinkte Seiten zur eigene Reputation und zu den eigenen Suchergebnissen gezählt werden, was besonders bei Shared-Web-Hostern passieren kann.

Wo bei allen Angaben für Suchmaschinen, ist es selbiger überlassen diese auszuwerten oder nicht. Google Beispielsweise hat das nofollow-Attribute / die Meta-Angabe selbst eingeführt, ignoriert es jedoch seit Ende das Jahres 2010 und empfiehlt stattdessen "noindex" für die gesamte Seite zu setzten. Da dies aber nicht immer gewollt ist und viele andere Suchmaschinen nofollow weiterhin berücksichtigen, ist es empfehlenswert über die Verwendung nachzudenken.
06.07.2012
Floyd 14,6k 3 9
Floyd 14,6k 3 9

Stelle deine Web-Frage jetzt!