Zitat:
Zitat von DarkNemesis  Grundsätzlich sollte alles gecrawlt werden, |
Seh ich anders.
Hab eine Erweiterung geschrieben wo crawling google stundenlang beschäftigt, aber nur ca. 20% der Links sinnvoll für die Suchmaschine sind.
Währe also blödsinn den eigenen Server damit auch noch zu belasten.
Aber mal sehen, wieweit ich mit meinen Versuchen komme. Momentan ist noch keine sinnvolle Ausgabe zu sehen.