Este edificio tuvo su origen como casa solariega, la denominada Casa Grande, que fue adquirida por la comunidad de Ursulinas en 1856 y sometida a diferentes reformas que culminan en 1891 con la terminación de la iglesia de San José. En el aparejo de la fachada puede distinguirse claramente la ampliación, ya que el edificio inicial se construye con ladrillo y mampostería de piedra caliza y el resto, a partir de la puerta de entrada, que aparece adintelada y con escudo nobiliario, sólo en ladrillo.

El antiguo convento es un edificio de planta cuadrada, organizado en torno a un patio que actúa como gran distribuidor central. Este patio está recorrido por un techado sostenido por estructura metálica sobre columnas de fundición. Tiene dos plantas y la cubierta es de teja a dos aguas. Los amplios ventanales en forma de medio punto dan unidad al conjunto.

La iglesia, de estilo neomudéjar, está adosada al convento. Consta de una única nave y lo más destacado es su fachada dividida en dos cuerpos, el primero que acoge la puerta principal en arco de medio punto adornado con un alfiz de ladrillo en esquina; el segundo con tres vanos coronados por un alfiz mixtilíneo. La fachada se remata escalonadamente y se corona con una espadaña.

El edificio ha tenido diferentes usos, en 1853 su propietario la alquiló por tres años a la Compañía de Guardias Jóvenes Duque de Ahumada (1853); posteriormente las madres Ursulinas fundan un internado de huérfanas pobres (1856); internado de huérfanas de médicos (1923); hospital militar durante la Guerra Civil (1936-1939) e internado de huérfanas de suboficiales hasta 1976, fecha en que pasa a ser propiedad municipal utilizándose como Instituto y Escuela de Adultos.

Desde 1983 fue utilizado como Centro Municipal de Cultura, rehabilitándose en 1987 para este uso. Actualmente el edificio está siendo nuevamente rehabilitado.