Jak podaj± autorzy Almanachu gmin żydowskich, cmentarz żydowski w Ostrołęce powstał w 1794 r., wraz z ukonstytuowaniem się miejscowej gminy wyznaniowej. Data ta jest jednak w±tpliwa. W spisie podatkowym z 1790 r. nie odnotowano obecno¶ci Żydów w Ostrołęce, a w 1808 r. w mie¶cie mieszkało tylko 99 Żydów. Z kolei Jan Mironczuk w swoim opracowaniu "Społeczno¶ć żydowska w okręgu bożniczym w Ostrołęce", opieraj±c się na archiwalnym dokumencie, podaje, że uformowanie się lokalnej gminy żydowskiej (dozoru bożniczego) nast±piło dopiero w 1822 r. Niewykluczone zatem, że cmentarz założono dopiero w trzeciej dekadzie XIX wieku.

Cmentarz stał się miejscem pochówku zmarłych z Ostrołęki oraz wsi podporz±dkowanych miejscowemu dozorowi bóżniczemu, między innymi z Czarnowa, Czerwina, Ponikwi, Wólki Brzezińskiej, Andrzejewa, Kaczyna, Czarnowca i innych miejscowo¶ci. W połowie XIX w. Żydzi w Myszyńcu utworzyli własny cmentarz.

Cmentarz założono na gruntach położonych około 1,2 km na południe od rynku. W XIX w. ten teren znajdował się poza zabudow± miasta. Nie wiadomo jaka pierwotnie była powierzchnia cmentarza i czy była stopniowo powiększana. Przed drug± wojn± ¶wiatow± cmentarz zajmował działkę o przybliżonej powierzchni 3,6 ha.

Na podstawie szcz±tkowego materiału ikonograficznego wiadomo, że cmentarz znajdował się na niewielkim wzgórzu, był czę¶ciowo poro¶nięty drzewami. Ogrodzenie stanowił wysoki, betonowy mur. Czę¶ć macew była wykonana z piaskowca i zdobiona polichromiami.

Po wybuchu wojny ¶wiatowej cmentarz nadal pełnił funkcje grzebalne. Pochowano na nim m. in. Gedalię Rozenbojma i jego córkę, zastrzelonych przez Niemców w okolicach Ostrołęki.

Po 1939 r. nast±piła czę¶ciowa dewastacja cmentarza. We wrze¶niu 1941 r. Niemcy przywieĽli do Ostrołęki grupę robotników przymusowych z getta w Łomży i nakazali im rozebranie muru cmentarza. Proces niszczenia był kontynuowany także po 1945 r.

W 1976 r. Ostrołękę odwiedził Richard Cohen. W wydanej w 2014 r. ksi±żce Israel: Is It Good for the Jews? wspomina spotkanie z nieznanym z nazwiska mężczyzn±, byłym dozorc± cmentarza: "Przed laty ten starszy człowiek przybył ze wsi, aby opiekować się cmentarzem. Było to zadbane miejsce, otoczone przez piękne sosny. Był w pracy w dniu, w którym Niemcy pojmali Żydów i przyprowadzili ich na cmentarz. Żydzi zostali zmuszeni do przewrócenia nagrobków i potem pomaszerowali do lasu. Tam zabili ich Niemcy. Po wyzwoleniu miejscowi pl±drowali cmentarz. Zabierali nagrobki i obudowy grobów i wykorzystywali je jako materiał budowlany (....). Kiedy nagrobki znikały, ziemia odsłaniała ko¶ci. Czaszki wysuwały się z ziemi, dzieci grały w piłkę głowami zmarłych Żydów. Miejscowy sekretarz partii komunistycznej, Żyd, naj±ł starszego człowieka, by zebrał czaszki i ponownie je pochował".

W zbiorach Remigiusza Makowieckiego - prywatnego kolekcjonera z Ostrołęki - znajduj± się 2 fotografie, wykonane na cmentarzu prawdopodobnie w pierwszych latach powojennych. Widać na nich kilka polichromowanych macew - m. in. Izraela Icchaka Chaima Tuwji (?) syna Mordechaja oraz Menachema Awrahama syna Jehudy - w otoczeniu licznych gruzów z rozbitych nagrobków. Można zakładać, że po 1945 r. na cmentarzu znajdowało się stosunkowo dużo macew.

Zapewne w latach 50-tych cmentarz fotografował Mark Rakowski, tłumacz i współpracownik Żydowskiego Instytutu Historycznego. Dwa z jego zdjęć zamieszczono w Księdze Pamięci Ostrołęki. Przedstawiaj± one betonowe obramowania zniszczonych grobów.

Jeden z użytkowników forum www.moja-ostoleka.pl napisał w w±tku dotycz±cym cmentarza: "To była duża góra, macewy wystawały z niej lub leżały. Jeszcze w latach 60-tych dzieci zim± zjeżdżały tam na sankach. Podobno został zdewastowany i splantowany w 1980 r. Słyszałem też wersję, że "poszedł" na wał przeciwpowodziowy".

Cmentarz został stopniowo zabudowany. W północnej czę¶ci - w rejonie ulic Poznańskiej, Stefczyka i 6 Wrze¶nia - powstało osiedle domków jednorodzinnych, potocznie nazywane "Kierkut". Przez cmentarz przeprowadzono ulicę Janusza Korczaka. W południowej czę¶ci cmentarza zbudowano szkołę (obecne Gimnazjum nr 2 im. Danuty Siedzikówny "Inki") oraz Zespół Placówek Opiekuńczo-Wychowawczych. Wszelkie naziemne ¶lady cmentarza uległy całkowitemu zatarciu. Nieliczne odnalezione fragmenty nagrobków były zbierane i zabezpieczane przez lokalnych społeczników - Barbarę i Tomasza Damięckich.

12 maja 2010 r. szcz±tki ludzkie zabezpieczone podczas robót budowlanych zostały uroczy¶cie pochowane obok pomnika przy ul. Poznańskiej. Miejsce pochówku otoczono łańcuchem rozpiętym między słupkami i oznaczono tablic± z napisem: "Tu znajduj± się prochy Żydów ostrołęckich, zebrane podczas budowy ulicy Janusza Korczaka. Naczelny Rabin RP, Komitet Ziomkostwa Żydów Ostrołęckich w Izraelu, Fundacja Ochrony Dziedzictwa Żydowskiego, Miasto Ostrołęka. Ostrołęka 12 maja 2010".