nach noch ein paar weiteren stunden suchen und analysieren hab ich den programm code gefunden der dafür verantwortlich ist.
der javascript code wird im PHP file:
\rtehtmlarea\mod4\class.tx_rtehtmlarea_select_image.php
generiert. Dort habe ich nun von "thin" umgestellt auf "1px" und schon funktioniert es wunderbar
jetzt muss ich nur noch herausfinden wo die defaultwerte zu finden sind. ich möchte per default dass das bild einen rahmen hat und entsprechend die option "Border" gleich zu begin gesetzt ist.