Familien Ernst opbyggede deres velstand på grundlag af sølvvarefabrikation. ”J. Ernst’s Sølvvarefabrik” blev grundlagt i 1890 af Frederik Ernsts far, Johan Ernst (1867-1924). I 1924 overtog Frederik Ernsts fabrikken.
Fabrikken havde sine velmagtsdage i 1920’erne, hvor fabrikken for alvor blev mekaniseret, og hvor fabrik og butik i alt beskæftigede mere end 40 personer. På fabrikken blev især produceret sølvbestik, men også større korpusarbejder. Fra butikken på samme adresse blev der også solgt smykker. Produktionen blev forhandlet i hele Danmark og i Sverige.

Efter fabrikkens endelige lukning i 1955, skete der over årene en forandring af lokalerne. De tidligere fabrikslokaler blev til udsmykkede stuer og sale, der kom til at rumme Frederik Ernsts voksende antikvitetssamling.

For Frederik Ernst var den kunstneriske åre, og den store interesse for historie og antikviteter tydeligvis nerven i hans tilværelse. Formuen fra sølvvarefabrikkens tid blev brugt på at opkøbe antikviteter fra hele verden. Antikvitetssamlingen er rig og består bl.a. af porcelæn, møbelkunst, sølv og malerier. Samlingen af porcelæn indbefatter mere end 30 spisestel, hvoraf flere af dem står på opdækkede borde. En imponerende opdækning med Flora Danica pryder lejlighedens spisestue. Som gæst får man adgang til de rigt dekorerede og farverige stuer og sale, hvor de forskellige antikviteter er sat i scene af fabrikanten selv.