In den Jahren 1902 bis 1903 wurde das „Haus Dürer“ an der unteren Pfarrgasse errichtet und war damit III. Bürgerschule der Stadt. 1928 wurde die Schule in „Dürerschule“ umbenannt. In den Kriegsjahren 1941–1945 diente das Haus als Lazarett. 1963 erfolgte die Teilung in Oberschule „Albrecht Dürer“ I und II. Seit 1992 gehört das Gebäude zum Geschwister-Scholl-Gymnasium und ist Teil des erweiterten Gebäudekomplexes, bestehend aus den Häusern „Haus Albertinum“ und  „Haus Dürer“.

In den Jahren 1976–1978 sowie 2001–2002 fanden Rekonstruktionsarbeiten statt.