白崇禧彻底惨败后，李宗仁到美国治病去了。桂系实力已输得精光，何去何从？此时，摆在白崇禧面前的只有两条路：一是像李宗仁那样，移居海外；一是跟随蒋介石逃往台湾。至于选择哪条路，白崇禧犹豫不决，一时还拿不定主意。当程思远问白崇禧与解放军对抗下去，有何把握时，白氏即坦率回答说：有什么把握，这不过是要对历史有一个交代罢了！而在此时，蒋介石也来信邀请白到台湾，并允诺去台后自有重用，还派专人送金砖到海口，说是发清白崇禧华中部队的军费，以示恩惠。白是不敢贸然去台湾的。如果说在此之前蒋介石对他有所忌惮的话，那是因为他手中还掌握了几十万的军队，如今他只是个光杆司令。这点白是再清楚不过了。但是白不知道蒋邀请的用意，猜测可能是想让他劝说李宗仁，使得蒋介石重新复职。白崇禧派李品仙先行赴台，名为办理华中军政长官公署和桂林绥靖公署结束事宜，实际是赴台打听政治行情。李品仙赴台后，即致电白崇禧，称蒋介石、陈诚都希望白去台湾，共荷戡乱救国之责，这就坚定了白崇禧赴台的信心。1949年12月30日，白在蒋介石函电的催促下，终于从海口飞往台湾。白崇禧的至交、立法委员何遂曾向白氏进言：上将回台，将必难免一死，应乘机起义，响应共军。白氏回答：我自追随蒋公北伐以来，殆逾二十载，既处遇顺境，亦处遇逆境，一生一世历史第一，我必对历史有所交代，生死利害，在所不计，君勿为此喋喋也。白崇禧赴台是一项轻率的决定，他在过去的二十二年中多次与蒋介石斗争，蒋必欲置之死地而后快。之所以没有立刻对他下手，是因为白还有牵制李宗仁的作用。但白崇禧这一进入台湾后，就再也不能离开台湾了。

白崇禧到台湾不久，又将家眷20多人从香港接到了台湾，在台南盖了两栋房子，安置大哥、九哥、六弟、二妹等亲属，他自己一家则住在台北松江路127号一幢旧式平房中。有些朋友感到难以理解，就问白：你怎么全家都搬来了？某人到美国去，某人到日本去，某人到泰国去，某人在香港，某人出境证都预备好了，你还搬到这里来？白却回答说：我们大陆丢了，我们是现役军人，负很大罪过，中央不处罚我，自己良心自责。台湾是复兴基地，祖国领土就只剩这一点点，希望在这生根发展回去，除此之外，现役军人死无葬身之处，跑到哪里去？不过，话虽这么说，白崇禧心中也是茫然得很。有一天，白崇禧与何应钦一同去打猎，途中谈起时局，两人都认为希望渺茫，感到很绝望。白崇禧说：我是信仰宗教的人，对世界局势，人类的前途，真主会有一个安排，我们打猎吧！孤悬海外，如波涛中扁舟一叶，白崇禧也只有把希望寄托在真主身上了。