Lata służby cywilnej
Po zamachu majowym w 1926 roku, gdzie Józef Haller potępił działalność Józefa Piłsudskiego i został przeniesiony w stan spoczynku.Wraz z rodzina osiedlił się na Pomorzu.W 1933 roku wyrusza w drugą podróż do Stanów Zjednoczonych w celu zebrania funduszy wspierających weteranów i inwalidów wojennych. W czasie tej podróży wędrował od parafii do parafii, prosząc o wsparcie dla swoich byłych żołnierzy. Wszędzie był przyjmowany bardzo serdecznie i otrzymał od Polonii ponad 70 tys. dolarów. Przyjęło się powiedzenie: "Gdy bieda doskwiera idź do Hallera".
W latach 1936-1939 był jednym z organizatorów i przywódców Frontu Morges, opozycyjnego wobec ówczesnego rządu. Należał też do organizacji katolickich, które broniły zasad religijnych i moralnych. Po wybuchu II Wojny Światowej wraz z żoną przedostał się do Francji a potem do Wielkiej Brytanii, gdzie objął funkcję ministra oświaty w rządzie Sikorskiego. Ponownie udał się do Ameryki, by zachęcić Polonię amerykańską do nowej walki o ocalenie Ojczyzny. Po wojnie pozostał na obczyźnie. Z całą rodziną zamieszkał na stałe w Londynie. Początkowo mieszkali w hotelach a potem w domu ofiarowanym przez wiernych żołnierzy weteranów ze Stanów Zjednoczonych. Mieszkając w Anglii interesował się zagadnieniami dotyczącymi Polski. Jako prezes PCK i Szef Rady Towarzystwa Pomocy Polakom wspierał ludzi biednych i zagubionych.
W styczniu 1952 roku umiera jego żona. W tym samym roku jesienią na zaproszenie SWAP po raz kolejny odwiedził Stany Zjednoczone. Jako gość honorowy uczestniczył w organizowanej przez Polonię corocznej paradzie im. K. Pułaskiego w Nowym Jorku. Po powrocie kontynuował swoją działalność społeczną i polityczną. W 1957 roku planował podróż do Polski, niestety musiał zrezygnować ze swoich zamierzeń na skutek działań rządu komunistycznego.
Odwołanie wyjazdu do Polski wywiad z Józefem Hallerem (nagranie)
Zmarł 4 czerwca 1960 roku. W uroczystościach pogrzebowych uczestniczyło około 1000 osób. Mowy pożegnalne wygłosiło wielu przedstawicieli emigracji polskiej, między innymi gen. Anders.
Prochy gen. Hallera zostały przewiezione do Polski 23 kwietnia 1993 roku i złożone w Kościele garnizonowym Św. Agnieszki w Krakowie.
Józef Haller odznaczony był m.in.: Orderem Orła Białego, Virtuti Militari V kl. oraz czterokrotnie Krzyżem Walecznych.