Nein, auf dem Quellserver. Kannst das ganze natürlich auch umdrehen und am Zielserver den hier machen:
scp host:/home/bla/datei /pfad/wo/sie/hin/soll/ - das ist Jacke wie hose. Erstes Argument ist Qulle, zweites Ziel; welches davon lokal ist und welches nicht ist wurscht
scp fragt nach dem Passwort. Wenn du einen Login ohne Passwörter benötigst, wirf mal einen Blick in ssh-keygen(1).
gruß, Christoph