Tøjhuset blev opført som et sukkerrafinaderi i 1853 af en af byens matadorer, tyskeren Diedrich Hermann Krache. Grundet hårde konkurrencevilkår bukkede raffinaderiet under 2 år efter i 1855.
I 1862 blev huset overtaget af militæret, som anvendte det til magasin for artilleriet i 2 år, hvorefter bygningen blev indrettet til depot og munderingskamre for infanteriet og sådan fungerede det indtil 1982.
I 1983 bliver Tøjhuset fredet.
På det tidspunkt arrangerede Musik & Ungdom en del koncerter i de tomme lokaler, for at vise, at huset var velegnet som koncertbygning. Musiklivet var i gang med en opblomstring, og havde brug for nogle rammer til at udfolde sig i. Foreningerne udarbejdede et forslag til at drive huset og sendte det til politikerne med henblik på at købe det og indrette det som koncertsted.
I 1986 totalrenoveres ejendommen og købes af en privat virksomhed, der indretter bygningen med moderne kontorer for liberale erhverv. Kommunen i første omgang tilbudt at leje bygningen til kulturelle formål, men afslår, da man allerede er i fuld gang med at etablere Det Bruunske Pakhus om kulturhus.
10 år senere køber Fredericia Kommune ejendommen med henblik på at skabe et hus for oplevelser. Tøjhuset indvies som koncertsted d. 5. juni 1998. Huset indrettes til l klassisk musik, og det bliver derfor hovedsagelig de klassiske musikforeninger, der bruger huset.
Ringen sluttes dog, da politikerne vedtager at flytte aktiviteterne fra Det Bruunske Pakhus ned i Tøjhuset. Det Bruunske Pakhus har da eksisteret i 30 år og er ved at vokse ud af sine rammer.
Efter ca. 1 års nænsom renovering tages Tøjhuset i brug den 1. januar 2017. Der er blevet plads til både Byorkester, den klassiske Fredericia Musikforening, Fredericia Jazzklub, Bluesklubben Double Trouble og naturligvis foreningen FredericiaLive, der står for mere end 150 arrangementer årligt.