Zamek został wzniesiony w połowie XIV wieku na rozkaz Kazimierza Wielkiego. W XV wieku dobudowane zostały dwa skrzydła mieszkalne (wyższe od strony zachodniej i parterowe od strony rzeki. W XVI wieku dobudowana została wieża mieszkalno-obronna. W czasach świetności, w latach 1509-44 zamkiem władali Firlejowie. Zamek został spalony i obrabowany w czasie potopu szwedzkiego a następne wieki to czas kiedy zamek popadał w coraz większą ruinę. Mimo, że jego rola obronna zanikała, zamek "brał udział" w działaniach wojennych: znajdowali tu schronienie konfederaci barscy, w czasie wojny 1809 roku Austriacy wysadzili część murów a w czasie powstania listopadowego Polacy ostrzeliwali stąd Rosjan.

Dzisiejszy stan zamku to efekt prac konserwatorskich prowadzonych zwłaszcza w latach 80-tych XX wieku.

Baszta, położona o kilka minut marszu od zamku kazimierska, jest najstarszym zabytkiem miasta. Została zbudowana z miejscowej opoki w XIII lub XV wieku jako jedyna kamienna część drewnianego zamku strzegącego w średniowieczu przeprawy na Wiśle. Po zamku nie ma już nawet śladu.

Przysadzista wieża ma ok 10 metrów średnicy i 20 metrów wysokości. Na jej szczycie znajduje się doskonały punkt widokowy na Kazimierz i Małopolski Przełom Wisły. Wieża jest udostępniona turystom, na szczyt prowadza wysokie schody, które do wysokości 6 metrów wiodą na zewnątrz murów i dopiero na tej wysokości prowadzą do wnętrza wieży i dalej klatką schodową na górę.