Het stadhuis bestaat eigenlijk uit drie panden. Het linkergebouw met de poort, ‘de Oliphant’. Het eigenlijke stadhuis, ‘het schepenenhuis’ in het midden (de hoofdingang en de drie vensters aan de linkerzijde). En het pand aan de rechterzijden, ‘Leeuwenborgh’. Het eigenlijke stadhuis, ‘het schepenenhuis’, is al 600 jaar oud en gebouwd tussen 1398 en 1403. Het pand dat hiervoor stond was waarschijnlijk ook het stadhuis maar dit is verloren gegaan in de stadsbrand van 1397.

In 1444 legde een tweede stadsbrand het pand ‘Leeuwenborgh’ in de as. Hierna werd het herbouwd en in 1498 werd het gekocht door het stadsbestuur. In 1544 volgende het pand ‘de Oliphant’ dat daarvoor nog onderdeel uitmaakte van het naast gelegen pand, ‘de Draak’. De panden waren dan van binnen wel één, aan de buitenkant was dit nog niet zichtbaar.

In 1600 besluit het stadsbestuur dat de gevels van de panden één gebouw moeten vormen. In 1605 worden de plannen gemaakt om de gevels te vervangen door een natuurstenen gevel, het werk wordt echter pas in 1611 uitgevoerd. Hierbij worden ook de daken samengevoegd. De hoogteverschillen in de vloeren getuigen nog van de samenvoeging van de verschillende panden. In 1762 wordt besloten de gevel te witten en in 1872 wordt besloten dat de hele natuurstenen gevel moet verdwijnen achter een laag pleisterwerk. Bij de renovatie in de jaren dertig van de twintigste eeuw wordt besloten om de gevel weer in oude glorie te herstellen. De pleisterlaag wordt verwijderd en de houten kozijnen worden (opnieuw) vervangen voor natuurstenen.

Het stadhuis blijft groeien en de gebouwen achter de drie oorspronkelijke panden worden ook opgeslokt door het stadhuis. In de jaren zeventig van de twintigste eeuw worden de laatste uitbreidingen gepleegd. Maar aan het einde van de eeuw wordt toch besloten om een nieuw stadskantoor te betrekken aan plein XIII.

De gevel van het gebouw kende een aantal beelden die de vier kardinale deugden voorstellen, waarvan er twee nog op de gevel staan. Onder staat Justitia, ze heeft een zwaard en een weegschaal, ze staat voor de gerechtigheid. Het bovenste beeld is Prudentia, ze had oorspronkelijk een spiegel vast maar deze is verdwenen, aan de houding kan dit echter wel herleid worden. De spiegel stond voor wijsheid en voorzichtigheid. Bij de restauratie in de jaren 30 zijn echter ook twee beelden verdwenen: het eerste is Fortitudo, de moed en sterkte. De nis waar hij in stond is gedicht met een houten luik. En het tweede beeld is Temperantia, de Gematigdheid. Zij stond op de nok van de gevel. Boven de poort bij het Sint-Annastraatje is nog een beeld tevoorschijn gekomen: Sint Getrudis de patroonheilige van Bergen op Zoom.

Het stadhuis is in gebruik als raadszaal, trouwlocatie en voor (politieke) vergaderingen.

Het is te bezoeken via de Stadsgidsen. 

Bron: https://nl.wikipedia.org/wiki/Stadhuis_van_Bergen_op_Zoom