Dans un petit chemin tranquille du Nord, se cache "la Ruinette", achetée en viager par un couple d'instituteurs, Albert et Fanny. D'abord maison des vacances, elle devient leur résidence principale à l'heure de la retraite. Quand Fanny décède, Albert se retrouve seul dans cette maison que leurs deux fils n'apprécient guère. Il s'y constitue un havre de paix entre voyages, lectures et conférences, jusqu'à ce qu'une attaque pose la question de son maintien dans les lieux. Refusant de quitter sa demeure pour une maison de retraite, Albert s'y organise coûte que coûte, grâce aux aides à domicile, dont la pétulante Bernadette, et aux amis du village. Un lien étroit va se nouer avec son petit-fils, Loïc, en vacances à la Ruinette...