Pierwszy cmentarz żydowski w Rzeszowie - mieście zwanym niegdyś złośliwie Mojżeszowem - powstał w pobliżu starej synagogi. Nie znamy daty jego założenia, jednak znajdujący się tu przed drugą wojną światową nagrobek z 1553 roku wskazuje, że pochówków dokonywano w tym miejscu przynajmniej od połowy szesnastego wieku. Po najeździe Tatarów w 1624 roku, przez teren nekropolii przeprowadzono wał obronny, którego zbocza z czasem wykorzystano do celów grzebalnych. Od połowy XVIII wieku w miejscu najstarszego cmentarza chowano już tylko rabinów i osoby zasłużone dla miejscowej społeczności żydowskiej.
W XVII wieku napływ ludności żydowskiej do Rzeszowa zmusił miejscowy kahał do organizacji nowego miejsca pochówku, położonego w pobliżu starego cmentarza. Już w 1658 roku Efraim Zelman w imieniu gminy żydowskiej za kwotę 170 florenów zakupił część pobliskiego ogrodu. Kolejne zakupy gruntu miały miejsce między innymi w 1689 r., 1691 r., 1700 r. oraz 1705 r., a cmentarz ostatecznie zajmował powierzchnię około dwóch hektarów. Prawdopodobnie w 1849 roku, na polecenie władz carskich, przez cmentarz przeprowadzono drogę. Przypuszcza się, że decyzja ta - oprotestowana przez stronę żydowską - była spowodowana względami militarnymi. Dziś w tym miejscu przebiega ulica Sobieskiego. Nekropolia funkcjonowała do początków XX wieku. Jeszcze w okresie pierwszej wojny światowej na jej terenie odbyło się kilka pogrzebów.
Nekropolia została zdewastowana podczas drugiej wojny światowej. Na polecenie władz okupacyjnych najpierw zniszczono otaczający ją mur, następnie wycięto drzewa, potem przystąpiono do usuwania tysięcy zabytkowych macew. Pozyskany w ten sposób surowiec wykorzystano między innymi do utwardzania dróg, między innymi ul. Chopina i ul. Asnyka. W 1942 roku ogołocony z nagrobków plac cmentarny służył jako miejsce zbiórki mieszkańców rzeszowskiego getta przed wyjazdem w ostatnią drogę do obozu w Bełżcu lub lasów głogowskich.
Po wyzwoleniu na cmentarzu wzniesiono Pomnik Wdzięczności Armii Czerwonej. Jeszcze przez wiele lat na jego terenie podczas prac remontowych odkrywano kości i fragmenty nagrobków. Do największej powojennej profanacji doszło w 1990 roku, kiedy to przez cmentarz przeprowadzono magistralę ciepłowniczą. Dokonano wtedy głębokiego wykopu, dewastując liczne groby i odsłaniając kości. Krzysztof Panek w swym artykule, zatytułowanym "Nie odpoczywają w pokoju" ("Małopolska", numer 28 z dnia 15 lipca 1990 r.) tak pisał o tych wydarzeniach: "Groby zostały pocięte. (....) Kość udowa, przecięta wzdłuż czaszka. Takich miejsc można w głębi wykopu naliczyć kilkadziesiąt. (.....) Kilkunastoletnie dzieci mają nie lada gratkę. Na budowie można pobawić się w chowanego, w ściganego, ale najlepszą zabawą jest "szukanie Żyda". Scyzorykiem, widelcem i dziecinną łopatką można przy odrobinie szczęścia zostać właścicielem trupiej czaszki, palca Żyda. Znacznie niżej cenione są przerdzewiałe kłódki i szklane buteleczki".
Dopiero kilka lat temu cmentarz doczekał się upamiętnienia. Na terenie nekropolii odsłonięto pomnik z napisem w języku polskim i hebrajskim o treści: "W tym miejscu znajduje się XVII-wieczny cmentarz żydowski zniszczony w czasie drugiej wojny światowej przez hitlerowskiego okupanta. W lecie 1942 roku gromadzono tutaj Żydów przed wywiezieniem do obozów zagłady".