| 

.NET C# Java Javascript Exception

6
Derzeit bekomme ich bei jedem Bot-Besuch die System.Web.HttpException: Der Pfad /robots.txt ist unzulässig.

Wie richte ich meine Website so ein, daß die Abfrage von robots.txt, sitemap.xml usw. nur eine 404-Meldung zurückliefert - ohne das eine Exception geworfen wird?
News:
13.01.2012
philipp
philipp
167 ● 1 ● 7
2 Antworten
1
Die Frage hat sich erledigt.

Die Extension .txt war in meiner web.config als verbotene Extension eingetragen.
13.01.2012
philipp
philipp
167 ● 1 ● 7
Danke fürs Feedback!
– Xantiva 13.01.2012
0
Hallo,

ich glaube das einfachste wäre wenn du einfach eine robots.txt im root Verzeichnis erstellst
und folgenden Code hineinschreibst

User-agent: *
Disallow: /


User-agent: * bedeutet, das du jeden Bot ansprechen möchtest
Disallow: / bedeutet, das keine Seite aufgerufen werden soll

Deine Exceptions sollten dann komplett weg sein und die Bots durchsuchen deine Seite nicht mehr.

Grüße
13.01.2012
Nicolai Schönberg
Nicolai Schönberg
2,4k ● 2 ● 9
Für die robots.txt ja, ich bekomme aber auch automatisierte Requests für weitere Pfade, wie z.B. /sitemap.xml. Diese Dateien möchte ich nicht anlegen.
– philipp 13.01.2012

Stelle deine .net-Frage jetzt!
».NET Software-Entwickler (m/w)
TOP TECHNOLOGIES CONSULTING GmbH