Wie kann ich cc_awstats automatisieren?

[Junior]

Die Erweiterung AWSTATS gibt im Backend Statistiken über die Besucher der Webseite aus. Das Aktualisieren der Statistik erfolgt über den Link "Jetzt aktualisieren" im AWSTATS Modul.

Wurden die Statistiken längere Zeit nicht aktualisiert oder werden die IP-Adressen im Logfile zu Domainnamen aufgelöst, so dauert die Erstellung der Statistik unter Umständen eine ganze Weile.

Es kann daher sinnvoll sein, die Statistik z.B. stündlich automatisch zu aktualisieren, da die seit der letzten Aktualisierung hinzugekommene Datenmenge relativ klein ist.

Ich habe nach einer Möglichkeit gesucht, die Statistik mittels eines Cronjobs regelmässig upzudaten. Dazu habe ich das Modul von Rene Fritz etwas erweitert. Bei jedem Aufruf von AWSTATS im Backend von TYPO3 wird nun eine Datei "cron_script.sh" erzeugt. Diese enthält die notwendige Konfiguration, um das Perlscript von AWSTATS aufzurufen.

Die Erweiterung wurde von mir nur unter Linux getestet (unter Windows gibt es ja keine Cronjobs...).

Installation:

1. die Datei index.zip herunterladen, entpacken und in das Verzeichnis site/typo3conf/ext/cc_awstats/mod1 kopieren (die dort vorhandene index.php Datei vorher sichern)
   
2. Vom TYPO3 Backend aus das AWSTATS Modul aufrufen und die Statistik über den Link aktualisieren
   
3. In dem oben genannten Verzeichnis steht jetzt eine Datei "cron_script.sh", diese Datei umbenennen (z.B. in "update") und mit chmod +x update ausführbar machen
   
4. Jetzt kann in crontab folgende Zeile eingefügt werden, um die Aktualsierung einmal pro Stunde auszuführen:

0 * * * * www /site/typo3conf/ext/cc_awstats/mod1/update > /dev/null

('www' ist der User, unter dem der Webserver läuft, dadurch wird verhindert, dass das Skript als 'root' ausgeführt wird)

Dabei muss "site" natürlich jeweils durch den Pfad zur TYPO3-Seite ersetzt werden.

Die gemachten Änderungen werden vormutlich in künftige Versionen des AWSTATS-Moduls von Rene einfliessen.

Dank an Christian Kuhn für seine Hinweise zu Skripten und cronjobs.

Download geänderte index.php für das AWSTATS-Modul Version 0.7.1 (6.0 kB)
index.zip

© JWeiland www.jweiland.net/typo3cms/

[valli]

Hallo,

einfacher gehts mit ics_awstats, da dort das cron script gleich mitgeliefert wird

valli

[gredini]

Hallo,

der thread ist zwar nicht mehr ganz jungfräulich, aber egal...

einfacher gehts mit ics_awstats, da dort das cron script gleich mitgeliefert wird

Diese erfreuliche Erfahrung mache ich augenblicklich nicht!

Beim Ausführen des folgenden scripts

 passthru('/usr/bin/php /www/htdocs/../typo3conf/ext/ics_awstats/mod1/awstats-update.phpcron'); 
  

bekomme ich folgenden output:

Perl was not running as expected. Please check the following points:
- php-'safe_mode' must not be enabled (Current configuration: safe_mode=0)
- the ics_awstats extension misconfiguration (Current configuration: perlbin=/usr/bin/perl)
- check the permissions of '/usr/bin/perl'

Die selbe Meldung bekomme ich, wenn ich das perl-script direkt aufrufe:

 passthru('/usr/bin/perl /www/htdocs/../typo3conf/ext/ics_awstats/awstats/awstats.pl -config=www.tralllalla.de -update'); 
  

Vetstehen tu ich es nicht, weil ja beim manuellen update exakt der selbe scriptaufruf erfolgt und es da ja funktioniert.

Der safe_mode ist aus, die permissions kann ich setzen wie ich will und perl läuft ansonsten anstandslos!

Mich irritiert, dass ich nicht wirklich viel zum Thema im Netz gefunden habe, so dass ich davon ausgehe, dass es bei den meisten funktioniert!

Aber warum???

Grüße an alle

[valli]

Hallo Gredini,

Wieso wird das cronscript via passthru aufgerufen?

Es ist moeglich, dass sich die php.ini in der cmdline und jene von mod_php
(respektive php-fastcgi) unterscheiden.

Lass mal folgendes in einer shell ausfuehren:

echo '<?php phpinfo() ?>' | /usr/bin/php

Was steht bei disable_functions, safe_mode oder aehnlichem?

Gruss valli

[gredini]

Hallo valli,

danke erstmal, dass Du Dich bemühst!

Wieso wird das cronscript via passthru aufgerufen?

Es handelt sich hierbei um einen all-inkl-Webspace ohne shell-zugang und somit leider auch ohne crontabs etc. Cronjobs kann man nur in der Form aktivieren, dass man "normale" php-scripts aufruft und von dort aus eben mit exec, passthru usw. die jeweiligen shell-scripts angeht.

Es passt ja im prinzip auch alles, die phpinfo bringt nichts ungewähnliches, es werden mehrere irgendwas.phpsh scripte auf diese Weise aufgerufen und diverse perl-scripte laufen problemlos.

Ich verstehe nicht, wieso der Aufruf aus Typo3 selbst heraus funktionieren kann, wo der doch genauso aus php heraus mit "exec('/usr/bin/perl..." erfolgt.

grüsse

[valli]

Hallo Gredini,

Ich verstehe nicht, wieso der Aufruf aus Typo3 selbst heraus funktionieren kann, wo der doch genauso aus php heraus mit "exec('/usr/bin/perl..." erfolgt.

Geben die zwei folgenden Befehle wirklich dasselbe zurueck:

 phpinfo(); 
  

passthru('echo "<?php phpinfo() ?>" | /usr/bin/php'); 

Was ich nicht verstehe ist wieso folgender Befehl ...

 passthru('/usr/bin/perl /www/htdocs/../typo3conf/ext/ics_awstats/awstats/awstats.pl -config=www.tralllalla.de -update'); 
  

folgende Meldung ausgeben kann:
Perl was not running as expected. Please check the following points:
- php-'safe_mode' must not be enabled (Current configuration: safe_mode=0)
- the ics_awstats extension misconfiguration (Current configuration: perlbin=/usr/bin/perl)
- check the permissions of '/usr/bin/perl'

Der Code welcher dies ausgibt, wird so naemlich gar nicht durchlaufen.

valli

[gredini]

Hallo valli,

die beiden phpinfo-aufrufe ergeben jeweils das gleiche.

safe_mode off, nichts disabled usw.

Was ich nicht verstehe ist wieso folgender Befehl ...

 passthru('/usr/bin/perl /www/htdocs/../typo3conf/ext/ics_awstats/awstats/awstats.pl -config=www.tralllalla.de -update'); 
  

folgende Meldung ausgeben kann:
Perl was not running as expected. Please check the following points:
- php-'safe_mode' must not be enabled (Current configuration: safe_mode=0)
- the ics_awstats extension misconfiguration (Current configuration: perlbin=/usr/bin/perl)
- check the permissions of '/usr/bin/perl'

Der Code welcher dies ausgibt, wird so naemlich gar nicht durchlaufen.

Ich habe das genze Prozedere jetzt nochmal durch exerziert - das war ein Fehler meinerseits - tut mir leid!!!

Die Meldung kommt natürlich nur beim Aufruf des update-scripts!
Und im BE steht dann bei der Auswahl des logfiles "Aktualisierung im Gange (Lösche Aktualisierungs-Sperrdatei)".
Allerdungs steht das ewig da und es wird nie was aktualisiert, weil wahrscheinlich im Anschluß daran das perl-script gestartet wird und dieses (zumindest in der update-routine) nicht läuft. Die angebliche Aktualisierungs-Sperrdatei kann ich dann löschen, worauf die Meldung wieder weg ist und dann ist wieder alles wie gehabt...

Beim direkten starten des perl-scripts kommt keine Meldung und gar nichts.




Was ich dabei schon mal generell nicht verstehe ist folgendes:

Es gibt in der class.tx_icsawstats_awstats.php zwei relevante Funktionen für den Aufruf des perl-scripts.

Für den manuellen Start aus dem BE heraus:

 function call_awstats($t3log, $aws_wrapper, $dbg=0) {
.
.
.

passthru($syscmd, $retval);
} 
  

und für den cronjob bzw. das update-script:

 function call_awstats_cli_update($t3log) {
.
.
.

exec($syscmd, $output, $retval);
} 
  

Wenn da irgendwas disabled wäre oder der safe_mode plötzlich on oder was weiss ich auch immer (was wohlgemerkt nicht der Fall ist!), dann dürften da doch beide nicht gehen!? Oder etwa doch???

Gredini

[valli]

Hallo Gredini,

Kannst du mal das file mod1/class.tx_icsawstats_awstats.php wie
folgt verwuesten. In der function get_perlbin() folgendes aendern
Vorher:

 ...
exec($pbcmd, $testoutput, $retval);
if ($retval || (! preg_match('/^<pv>([\d\.]+)<\/pv>$/', $testoutput[0], $matches)) ) {
... 
  

Nachher:

 ...
exec($pbcmd, $testoutput, $retval);
echo("pbcmd=".$pbcmd."\n");
echo("testoutput=".$testoutput[0]."\n");
echo("retval=".$retval."\n");
die();
if ($retval || (! preg_match('/^<pv>([\d\.]+)<\/pv>$/', $testoutput[0], $matches)) ) {
... 
  

Dies gibt vielleicht ein Anhaltspunkt.

valli

PS: Findest du ein Anhaltspunkt im PHP error-log?

[gredini]

Hallo valli,

die Verwüstung brachte Folgendes zu Tage:

 pbcmd=/usr/bin/perl '/www/htdocs/../typo3conf/ext/ics_awstats/mod1/get_pv.pl' testoutput= retval=