Herberg de Zwaan heeft een rijke historie. Letterlijk, het waren de ‘gegoede luyden’ die de zaak een bezoek brachten. Boven waren de kamers met bedsteden, beneden keuken met fornuis, put en regenwaterbak. Deze is nog altijd voor de bar te bekijken.
Het pand, door Johannes Tjalling Swart in 1772 gebouwd, deed vroeger dienst voor de zitting van arts en notaris. Zij namen plaats in de Heerenkamer of zoals de Amelanders het noemen, de Heerskamer. Deze is nog in bijna originele staat terug te vinden in de gang naast de entree. Bijna, want in de tweede wereldoorlog werd de kamer door de Duitsers geconfisqueerd. De Heerskamer werd werkkamer van de commandant die archiefkasten veel praktischer achtte dan bedstedes.

In de volksmond werd het logement ‘De nieuwe Herberg’ genoemd. Het pand stond op de zelfde locatie als de voormalige herberg ‘De Rode Leeuw’.