W armii austriacko-węgierskiej

Jozef Haller  w wojsku

Józef Haller w mundurze c.k. porucznika artylerii, 1894 r.

ANK, Spuścizna Anny Haller, sygn. AH 42/8.

W sierpniu 1895 roku rozpoczyna karierę wojskową. Zostaje mianowany na podporucznika w altylerii polowej we Lwowie. Pełnił tam funkcję instruktora, a następnie komendanta w jednorocznej ochotniczej szkole oficerskiej artylerii. Przeprowadził reformę nauczania, usuwając zdemoralizowanych zawodowych oficerów ze stanowisk instruktorskich. Wprowadził do szkół oficerskich język polski. Powoływał się na uchwały parlamentu wiedeńskiego, które dopuszczały częściowe używanie języka polskiego w wojsku. Za osiągnięcie znakomitych wyników otrzymał najwyższe austriackie odznaczenie -  Wojskowy Medal Zasługi (Signum Laudis). W czasie tej służby nastąpiły poważne zmiany w życiu osobistym. W 1903 roku poślubił  Aleksandrę Wysocką a  trzy lat póżniej przychodzi na świat syn Eryk.

W 1908 roku po wcieleniu Bośni i Hercegowiny do państwa Austro-Węgierskiego następuje pogorszenie stosunków z Rosją i zaostrzenie sytuacji politycznej w całej Europie. Na terenie Krakowa i Lwowa powstają nowe polskie organizacje wojskowe. Odżywają nadzieje na odzyskanie niepodległości. To spowodowało, że w tym samym roku Haller, w stopniu kapitana rezygnuje z pracy w armii i przechodzi na emeryturę.