Le Château des Tours est bâti sur une colline qui abrita au XIV siècle le puissant château fort du Bailli de Faucigny. Une forteresse entièrement détruite en 1589.
Au XVII siècle, un nouveau château est construit, mais bien vite abandonné il tombe en ruine lors de la révolution française en 1793.
En 1865 Maître Pierre Blanc, un avocat de Bonneville, fait construire le château actuel, qui prend le nom de Château Blanc. Revendu 1928 il devient une pension de famille pour curistes et convalescents.
C’est en 1942 que Henry Poulle l’acheta et, expulsé de l’Italie en guerre, y installe sa nombreuse famille. Il y passa les dernières années de guerre. Depuis 1945, la maison est une maison de vacances familiale.