Zamek Steen został wzniesiony z kamienia w Xw., w okresie, gdy większość budynków powstawała z drewna. Powiększony około 1200r. był wielokrotnie przebudowywany i modernizowany. Istniejąca do dziś część została zbudowana w XIIIw. jako portiernia antwerpskiej twierdzy. Od poł. XVI do poł. XIXw. zamek służył jako miejskie więzienie. Pod koniec XIXw. duża część budowli została zniszczona, aby powstało miejsce dla rozwijającego i rozbudowującego się portu. Obecny wygląd budynek zyskał pod koniec XIXw., kiedy stał się siedzibą muzeum archeologicznego, a później morskiego. Do dnia dzisiejszego z pierwotnej budowli pozostał jedynie XIII-wieczny fragment muru zewnętrznego.
Nad bramą wjazdową znajduje się mała płaskorzeźba, przedstawiająca pogańskiego bożka płodności Semini. Miejscowe kobiety wierzyły, że dotkniecie owej płaskorzeźby zapewni im płodność i szczęśliwe rozwiązanie.
Na murach zamku umieszczona jest pamiątkowa tablica informująca o udziale polskich żołnierzy w wyzwoleniu Antwerpii podczas II wojny światowej.
Według antwerpskiego folkloru w Het Steen mieszkali giganci - wspomniany wcześniej okrutnik Druon Antigoon oraz Lange Wapper - niezwykły bohater ludowy, miejscowy ni to oszust ni podglądacz, który dzięki swojemu wzrostowi zaglądał do sypialni ówczesnych mieszczan.