Die meisten Änderungen von TYPO3 3.8 zu TYPO3 4.x betreffen nicht die Dateistruktur sondern vor Allem die Datenbankstruktur (und natürlich Dateiinhalte). Viele Tabellen haben ganz neue Felder (Spalten) und einige ganz neue Tabellen sind auch hinzugekommen.
Im Installtool wird auch darauf hingewiesen. Die Änderungen insgesamt sind nicht ganz einfach zu durchschauen, deswegen würde ich die nicht funktionierende Installation ganz runterschmeissen und eine aktuelle Version von Grund auf neu installieren.
Kleiner Tip noch zu weissen Seiten im FE: wenn Pfade nicht gefunden werden, also Symlinks fehlen oder falsch sind, dann "stirbt" die Seite einfach und bleibt weiss. Hier wäre also der erste Ansatzpunkt "herumzudoktorn".
Aber dann bekommt ihr anschließend Probleme mit der Datenbank, womit ihr evtl. überfordert währt, auch wenn das Install-Tool relativ komfortabel eine Aktualisierung ermöglicht. Also: runter mit dem alten Kram und neu drauf.
Zur Neuinstallation: Besorgt euch dummy und t3_src und befolgt einfach was in den Text-Dateien steht. Das kann jeder, man muss einfach nur das tun was dort steht. Hinterher tauchen im Installtool, im Backend, etc. noch genug Fragen auf wo es komplizierter werden kann - aber dann habt ihr eine Basis und braucht nicht mehr (oder kaum noch) über Unix/Linux nachzudenken.
Übrigens: Zu Linux gibt's durchaus sehr gute Anleitungen im Netz, und vor allem auch im System selbst (man, info, apropos) - und die sind in Ihrer Anzahl auch bedeutend mehr als ein Mensch Finger und Zehen hat , z.B.
ubuntuusers - Das Portal mit Forum für Ubuntu, Kubuntu, Xubuntu, Edubuntu und alle anderen Ubuntu-Derivate - nicht die beste Referenz aber dort gibt's einfache Anleitungen zu scheinbar schwierigen Problemen.