Wg legend synagoga powstała na polecenie Kazimierza Wielkiego, który w ten sposób chciał się przypodobać swojej ukochanej Esterce. Sama Estera z kolei miała wyszyć złotymi nićmi parochet dla tego domu modlitwy zapełniając w ten sposób swój czas pomiędzy wizytami króla. Do budowy wykorzystano kamienie z jerozolimskiej świątyni.
Nie ogłaszam dementi. Ale na pewno nie chodzi o tą synagogę. Budynek byłej synagogi w Kazimierzu Dolnym powstał w połowie XVIII wieku. Prawdopodobnie była tu wtedy tylko jedna sala. W XIX wieku dobudowano od północy babiniec, później od zachodu kolejne pomieszczenia i jeszcze jeden babiniec na piętrze nad tymi pomieszczeniami. Sala główna nakryta była ośmioboczną kopułą pokrytą polichromiami. W stanie idealnym budynek dotrwał do roku 1944. Niemcy, dopiero opuszczając Kazimierz Dolny podjęli się dzieła zniszczenia. Dzieło to było kontynuowane do lat pięćdziesiątych przez mieszkańców Kazimierza. W 1953 roku podjęto decyzję o odbudowie bożnicy z przeznaczeniem na kino. W ramach odbudowy odtworzono ośmioboczną kopułę nad salą główną ale już bez polichromii. W 2003 roku budynek przekazano Gminie Żydowskiej w Warszawie. Teraz są tam pokoje do wynajęcia i nadal sala kinowa używana jednak już tylko okazjonalnie.