La casa fu costruita da un'importante famiglia di Sarajevo, i Glođos, un membro del quale era kadi - giudice islamico amministratore - Munib effendi Glođo, famoso per il suo coinvolgimento nella lotta della Bosnia per l'autonomia all'interno dell'Impero ottomano. La famiglia fallì per mancanza di un erede maschio e la proprietà passò per matrimonio a un'altra importante famiglia di Sarajevo, Svrzo. La casa di Svrzo è un tipico esempio di architettura di quel periodo, con la sua divisione in selamluk o quartieri pubblici e haremluk o quartieri privati. Fu acquistato dalla famiglia Svrzo, rinnovato e aperto al pubblico negli anni '60. A seguito dell'assedio di Sarajevo, la casa è stata rinnovata e nuovamente aperta al pubblico nel 1997. Altri importanti lavori di ristrutturazione sono stati effettuati sulla casa nel 2005, quando il tetto è stato riparato, i ciottoli sono stati restituiti, gli impianti di servizio obsoleti sono stati sostituiti e il è stata restaurata la decorazione dipinta sulla musandera (gamma integrata di armadi) nell'atrio principale (salotto), che era sbiadita nel corso degli anni. Il museo ha pubblicato una monografia bilingue - bosniaco e inglese - sulla casa di Svrzo.