En av de stora sevärdheterna i Rethymnon är det imponerande Fortezza i Rethymnons gamla stadsdel. Fortet byggdes, som så mycket annat i Rethymnons gamla stadskärna, under den venetianska belägringen och ger staden en känsla av storhet och samtidigt venetiansk romantik. Venetianerna ville ha en hamnstad mellan Chania och Heraklion och det var så Rethymnon växte sig till den stora stad det är än idag. Även tidigare har det varit en självförsörjande stad med ganska stor population, men vid tiden då venetianerna kom var det inte mycket kvar. Besöker man Rethymnon är ett besök i detta mastodonta fort ett måste.
Även om det fort som står på kullen Paleokastro idag byggdes under det venetianska väldet så finns det teorier om att det har funnits olika sorters fort där även tidigare, placeringen är väldigt strategisk och en uppenbar plats för ett fort av detta slag.