[DarkNemesis]

Ich bin auf der Suche nach einer extension die mir sitemap.xml und im idealfall urlist.txt (gerne auch als gz) generiert.

Bisher habe ich immer wieder den namen mc_googlesitemap gehört, soweit ich weiß ist diese extension schon was älter und kann auch nur xml generieren.

Was würdet ihr denn generell empfehlen?

[david]

Was willst Du denn sonst generieren?
Das Austauschformat für Sitemaps ist meines wissens nun mal XML, nicht nur für google.

Man kann auch ein Python-Script bei Google runterladen und damit arbeiten, habe ich aber noch keine Erfahrung mit.

[DarkNemesis]

Meines Wissen nutzt yahoo die urlist.txt statt einer sitemap.xml und vor allem bei größeren Seiten können die xml und txt dateien recht groß werden und da soll das packen als gz wohl bei den suchmaschinen beliebter sein.

Habe in erinnerung das ab 10 MB xml / txt die suchmaschinen danke sagen ...

[david]

Hab angefangen eine Extension für Sitemaps zu schreiben, weil mir die bestehenden auch nicht zusagen.
Werd mal sehen ob ich die geforderten Dinge einbaue.

Hast Du denn eine Seite mit 10MB Seitenbaum? das müssten schon etliche Tausend Seiten sein.

[DarkNemesis]

Shopseiten die sprengen die 10 MB meist einfach

Ansonsten wäre nur halt interessant ob yahoo nun auf xml gewechselt hat oder weiterhin txt nutzt, zwar ist yahoo keine riesen suchmaschine wie googel mitlerweile aber dennoch nicht zu unterschätzen

[david]

Ich geb Bescheid, wenn ich die Erweiterung in einem testbaren Zustand habe.

Vielleicht kannst Du mir ne Liste von Extensions geben, die auf jeden Fall berücksicht werden sollten.
Wär zwar schön, wenn das unabhängig klappt, aber teilweise sind evtl. doch spezielle Anpassungen notwendig.

[DarkNemesis]

Also bisher kenne ich nur die Sitemap.xml bzw gz und Urlist.txt bzw gz das könnte man ja vielleicht noch mit der robots.txt kombinieren ähnlich wie gsite crawler das tut, wäre also vielleicht ratsam wenn du dir auch den anschaust ;)

Er indiziert auch die bilder in die sitemaps,dass halte ich auch für eine nette sache wenn das optional möglich wäre

[david]

Zitat von DarkNemesis

Er indiziert auch die bilder in die sitemaps,dass halte ich auch für eine nette sache wenn das optional möglich wäre

Generell ein guter Gedanke, aber in der ersten Fassung werde ich das sicherlich nicht einbauen.

Ich habe jetzt gedacht, evtl. eine Liste von Erweiterungen zu bekommen, die Page-Artig "gecrawlt" werden sollen (z.B. tt_news).
Da die Erweiterungen ja auf einer Typo3 Seite integriert sind, werden unterschiedliche Ansichten ja nicht über die Seite sondern über views definiert (z.B. Catalog, singleView, pointer, etc.).
Generell könnte man auch selbst einfach crawlen, aber ich gehe den Weg über die Datenbank.

[DarkNemesis]

Grundsätzlich sollte alles gecrawlt werden, dass man bei manchen ext. dann die option hätte, dass es nicht mit gecrawlt wird wäre aber sicher nett, nur für welche ext außer news und gbs könnte ich dir gerade auch nciht sagen

[david]

Zitat von DarkNemesis

Grundsätzlich sollte alles gecrawlt werden,

Seh ich anders.
Hab eine Erweiterung geschrieben wo crawling google stundenlang beschäftigt, aber nur ca. 20% der Links sinnvoll für die Suchmaschine sind.
Währe also blödsinn den eigenen Server damit auch noch zu belasten.

Aber mal sehen, wieweit ich mit meinen Versuchen komme. Momentan ist noch keine sinnvolle Ausgabe zu sehen.