Hey,
ich mal wieder ;)
hab eine frage zum prinzipiellen ablauf des crawlers!
wenn ich einen cronjob daüfr erstelle wieso reicht es, den befehl wo er die ganzen seiten in die queue steck einmal pro woche aufzurufen, aber den befehl wo er 'crawlen' soll im 2 minuten takt?
was macht er da? was passiert da genau?
hintergrund ist nämlich, das ich ein skript geschirebn habe, wo er die queue erstellt und danach gleich crawlt aber dies so nicht funktioniert bzw schon nur im log is zu erkennen das er die queue vom vortag am nächsten tag erst 'crawlt'...
brauch der crawler also ein bisschen zeit?
Danke für eure Antworten!
Gruß