Die Häuser
1920 gelang es dem neuen Direktor des St. Annen Museums, Carl Georg Heise, das in der Königstraße gelegene Behnhaus für die Stadt zu erwerben. Die Erben der letzten dort wohnhaften Familie Behn hatten das alte Kaufmannshaus bereits an eine Bank veräußert. Heise konnte es davor bewahren, im Zuge der Umgestaltung zu einer Bankfiliale in seiner historischen Substanz zerstört zu werden. Zudem hatte er nun einen Ort, die Sammlung des 19. Jahrhunderts zu präsentieren.
1981 konnte das Museum um das benachbarte Gebäude erweitert werden. Der museale Ausbau wurde von Dr. Heinrich Dräger finanziert und das Gebäude als Drägerhaus mit dem Behnhaus verbunden.
Das Behnhaus
Das im späten 18. Jahrhundert vom Lübecker Weinhändler Peter Hinrich Tesdorpf erbaute klassizistische Stadtpalais ist eines der schönsten Bauten Lübecks. Im Grundriss als typisches Lübecker Kaufmannshaus mit Kontor und Diele im Haupthaus und den Wohnräumen im Flügel konzipiert, war es in seiner klassizistischen Gestalt um 1800 hochmodern und an internationalen Vorbildern orientiert. Die Gestaltung der Innenräume wurde vom dänischen Architekten Joseph Christian Lillie realisiert.
Das Drägerhaus
Die Räume im Drägerhaus bieten heute in erster Linie einen zeitgemäßen Ausstellungsort für die Gemäldesammlung und für Sonderausstellungen. Ihre historische Funktion und der Charakter privater Wohnräume bleiben dabei jedoch weiterhin erkennbar. Mit der im Erdgeschoss befindlichen Festraumfolge im Rokoko-Stil findet sich im Drägerhaus ein in Lübeck einzigartiges Raumensemble nach französischem Vorbild.