Auf der Höhe über dem Bodensee und am steilen Uferhang, der außerhalb der Stadt dem Rebbau dient, liegt die Oberstadt. Auf einem schmalen Uferstreifen am Bodensee die Unterstadt. Das malerische altertümliche Städtchen wird überragt von der Burg / Altes Schloss (12. Jahrhundert).
Hier und im Fürstenhäusle über der Stadt lebte 1841 – 1848 Annette von Droste-Hülshoff. Das neue Schloß wurde 1740 bis 1744 errichtet.