robots.txt grundlegende Konfiguration

[burn4ever]

Hallo,
welche Ordner sollte man denn bei einer Typo3-Intsallation grundlegend mit "disallow" in der robots.txt deklarieren.

Den fileadmin Ordner evtl.?

[demeter]

Es kommt darauf an was du gespidert oder nicht gespidert haben willst.
Eine grundsätzliche Ausklammerung macht in meinen Augen keinen Sinn, da alles was im Quelltext steht prinzipiell gut ist, wenn es gespidert wird.

Sinn könnte aber machen, den ein oder anderen Bot auszusperren, wenn der das dann auch befolgt. ;o)>

demeter grüsst

[Havenot]

Moin,

den "fileadmin" Ordner würde ich spidern lassen.
z.b. um eingebundene PDF Datein mit aufnehmen zulassen.