Crawler: fsockopen und offene PDFs

[rob-master]

Hallo miteinander,

ich habe die Erweiterungen Crawler und indexed_search erfolgreich auf meinem TYPO3 4.4.4 zum Laufen gebracht. Allerdings gibt es zwei Probleme, die evt. sogar miteinander zusammenhängen.

Wenn ich den Cronjob nachts für den Crawler laufen lasse, erhalte ich im Protokoll (Logs) im BE folgende Fehlermeldung für meinen user _cli_crawler:

Core: Error handler (BE): PHP Warning: fsockopen() [<a href='function.fsockopen'>function.fsockopen</a>]: unable to connect to :80 (php_network_getaddresses: getaddrinfo failed: Name or service not known) in /pfad/zur/typo3conf/ext/crawler/class.tx_crawler_lib.php line 1275

Dazu habe ich wie hier beschrieben die BaseURL der TSConfig im root auf localhost gesetzt. Was leider auch nix gebracht hat. Meine Frage ist, ob diese Meldung bei euch auch im Protokoll angezeigt wird? Die Konfiguration im root schaut dabei wie folgt aus:

 tx_crawler.crawlerCfg.paramSets.test =
tx_crawler.crawlerCfg.paramSets.test {
    cHash = 1
    procInstrFilter = tx_indexedsearch_reindex, tx_indexedsearch_crawler,tx_cachemgm_recache
    baseUrl = http://www.meine-domain.de
}

#set up a crawl for users who have group id of 1
tx_crawler.crawlerCfg.paramSets.grp1 < tx_crawler.crawlerCfg.paramSets.test
tx_crawler.crawlerCfg.paramSets.grp1{
    userGroups = 1
} 
  

Weiterhin sollen external documents, genauer gesagt PDFs, indexiert werden. Zu diesem Zweck habe ich eine "Indexing configurations" vom Typ "Filepath on server" im root der Seite auf das Verzeichnis gelegt, in dem sich meine PDFs befinden.

Das Einlesen von PDFs erfolgt zum Großteil, mit ein paar Ausnahmen. Stellenweise stelle ich dann fest, dass auf manchen Seiten noch unbearbeitete Jobaufträge in der Queue "hängen". Erst, wenn ich manuell auf das Read Symbol (im "Crawler log" unter dem Submodul Info) klicke, werden z.B. die auf dieser Seite verlinkten uneingelesenen PDFs auch indexiert. Hat da jemand vielleicht ähnliche Erfahrungen gemacht?

Eigentlich sollten doch alle Aufträge in der Queue abgearbeitet werden und nicht stellenweise einige ausgelassen werden.

Besten Dank für eure Antwort im Voraus

Rob