Kolsäter var sedan järnbrukets grundande år 1694 Gillbergabygdens industriella centrum. Under senare delen av 1800-talet förändrade den nya ägarfamiljen Ullman verksamheten genom att först modernisera smidesmetoderna och sedermera satsa på pappersmassa istället för järn.
Gustaf Ullman (1819-1874) var en driftig brukspatron, som hade stora planer och bland annat engagerade sig för att järnvägen skulle dras genom bygden, detta redan i början av 1870-talet. Han var gift med Amalia von Aken (1832-1906), som liksom maken ligger i familjegraven. Genom sonen Harald Ullman (1860-1916) och dennes maka Elisabeth Mathilda Westerdahl (1869-1947) fortsatte släkten att leda bruket, men år 1917 såldes hela verksamheten.
Katastrofen kom genom den stora branden vid fabriken år 1937.