Das Kernstück des Torhauses bildet eine dreischiffige Halle. Es wurde um 1620 zum Kommandantenhaus umgebaut. Bis auf die Laube an der Ostseite erhielt es seine heutige Größe. Die Fassade wurde, nachdem sie bei einem Beschuß im Jahre 1813 beschädigt worden war, um 1839 im klassizistischen Stil neu gestaltet.