Wenn du es nicht versuchst, wirst du nie wissen, ob es funktioniert hätte mit dem Studium des Fachs, für das du dich am meisten interessierst.
Du weisst ja bereits, dass du von Anfang an (etwas) mehr zu tun haben wirst als die andern und wirst nicht den Anschluss verpassen, wenn die Vorlesungen plötzlich über den Schulstoff hinausgehen.
Mathematik ist zu Beginn eher einfacher als ein Anwendungsfach (Physik), da man bei den Grundlagen vorn beginnt und bewusst das Vorwissen wieder in Frage stellt. (Ein Vor- oder Brückenkurs ist dennoch sicher nicht zu verachten. An Hochschulen geht alles viel schneller vorwärts als in der Schule. Es kann auch passieren, dass du für das erste Jahr zwei Jahre brauchst.)
Wähle eine Hochschule / Uni in der die Übungen von Leuten betreut werden, die genau wissen, was in den einzelnen Aufgaben gelernt / geübt werden soll. - Da kannst du dich an Schnuppertagen und/oder bei (ehemaligen) Studierenden umhören. Und vor allem sollten die Vorlesungen klar strukturiert und verständlich sein.
Mach nun aber erst mal ein gutes Abi. Der Rest kommt nachher.