Palazzo Loffredo rappresenta una delle rare testimonianze di edilizia nobiliare a Potenza sopravvissute ai distruttivi terremoti.

Fu costruito tra la fine del XV e l'inizio del XVI secolo dalla famiglia dei Guevara, feudatari della città, e nel 1604 divenne residenza dei Loffredo. All'inizio del XIX secolo il palazzo ospitò l'Intendenza di Basilicata, mentre intorno al 1825 divenne sede del "Real Collegio", istituito con decreto di Luigi Bonaparte per l'istruzione superiore dei giovani della provincia di Basilicata.

Nel 1850 un decreto del re Ferdinando II affidò il Collegio ai Gesuiti, che lo gestirono fino al 1860. Dopo l'Unità d'Italia ospitò il "Real Liceo" e, ancora nel XX secolo, il Conservatorio di Musica "Gesualdo da Venosa" e altri istituti scolastici.

E' stato ceduto in comodato dal Comune di Potenza alla Soprintendenza come sede per il nuovo museo.