La nascita e le prime fasi di sviluppo del castello di Fénis continuano a restare del tutto sconosciute. All'estrema appendice sud-occidentale di quella splendida sequenza di prati dolcemente inclinati che si chiude, a sud, alle pendici del monte Saint Julien, col villaggio di Pommier, l'edificio occupa quella che sembra molto più la collocazione ideale per il centro direzionale di un'azienda agricola che non per una fortezza

Le fonti storico narrative antiche attribuiscono la "costruzione" del castello, così come lo si vede oggi, ad Aimone di Challant. Sebbene non si posseggano documenti contabili al riguardo il fatto è confermato dalle vicende storiche della famiglia e dai caratteri linguistici dell'edificio. Ancora una volta i documenti legali redatti al castello citano di una sala "nova" a partire dal 1342, ciò ci permette di fissare al 1340 circa la data del primo intervento di Aimone.

Da qui comincia la storia più recente del castello di Fénis, che è quella, fino ad oggi, di monumento amato e visitato da valdostani e turisti.
Il Castello di Fénis è infatti uno dei monumenti più visitati dell'Italia settentrionale e la sua immagine, assurta a vero e proprio simbolo della Valle d'Aosta feudale e medievale da un lato, del medioevo stesso dall'altro, è tra le più usate e forse anche abusate.