Gmina żydowska w Augustowie posiadała kilka miejsc pochówku. Najstarszy cmentarz powstał w rejonie obecnych ulic Polnej, Żabiej i Jonkajtysa. Był czynny co najmniej do końca XVIII w., kiedy pruskie władze miejskie ze względów sanitarnych przyst±piły do przenoszenia cmentarzy poza obszar zabudowany. W 1799 r. na wydmach za rzek± Nett±, w pobliżu obecnej ul. Zarzecze, otwarto nowy cmentarz katolicki, a rok póĽniej podobnie uczyniono z cmentarzem żydowskim.
Na przestrzeni kolejnych dekad nowa lokalizacja okazała się kłopotliwa dla mieszkańców. W 1826 r. rozebrano most przez rzekę, co spowodowało poważne utrudnienia. Kondukty żałobne docierały na cmentarz znacznie dłuższ± drog±. Czę¶ć zwłok transportowano łodziami. Jednym z przewoĽników rzecznych był Żyd o imieniu Fajwa. Od jego imienia w Augustowie przyjęło się powiedzenie "Popłyn±ć za Fajw±", oznaczaj±ce ¶mierć.
Nowy cmentarz zajmował działkę w kształcie wydłużonego prostok±ta, o przybliżonych wymiarach 80 x 300 m. Jego teren otaczał parkan o wysoko¶ci 4 stóp. W południowo-wschodnim narożniku wzniesiono dom przedpogrzebowy.
W latach 1941-1942 r. na działce przy obecnej ul. Waryńskiego, w pobliżu wylotu ul. Jaćwieskiej, powstał cmentarz, na którym grzebano ciała ludzi zmarłych lub zabitych w getcie. Prawdopodobnie pochowano tu nie mniej niż kilkadziesi±t osób.
Wszystkie cmentarze uległy daleko posuniętej dewastacji. Wszelkie naziemne ¶lady starego cmentarza uległy całkowitemu zatarciu. W latach 2004-2006, podczas przebudowy ul. Jonkajtysa, robotnicy natrafili na ko¶ci.
Zniszczeniu uległ także cmentarz przy ul. Zarzecze. Nagrobki zostały wyrwane i użyte m. in. do utwardzania dróg i celów budowlanych. Przy ul. Zarzecze 2a zachował się budynek dawnego domu przedpogrzebowego, obecnie wykorzystywany jako lokal mieszkalny.
W 1981 r. z inicjatywy Żydów pochodz±cych z Augustowa i ich potomków, na nowym cmentarzu urz±dzono niewielkie lapidarium, do budowy którego wykorzystano nieliczne odnalezione nagrobki. W centralnej czę¶ci lapidarium wzniesiono stylizowany na macewę pomnik z napisami w języku hebrajskim, polskim i angielskim: "Miejsce po¶więcone. Na tym cmentarzu spoczywaj± tysi±ce Żydów, mieszkańców Augustowa i ziemi augustowskiej. Niech ich dusze będ± zwi±zane w wieniec życia wiecznego. Fundatorzy: potomkowie rodzin pochodz±cych z Augustowa: Sokolski, Gradowski, Lewinson, Słowatycki. Wszyscy ci ludzie pochowani s± w ziemi ¶więtej, któr± czcimy. Niech dusze ich będ± zwi±zane w wieniec życia wiecznego". Tuż obok znajduje się niewielka tablica z napisem w języku angielskim o tre¶ci: "Ku pamięci członków naszych rodzin, którzy zginęli podczas Holocaustu, nigdy nie do¶wiadczyli pełnego i radosnego życia, żyj±cych przed odbudow± ludu żydowskiego w kraju Izraela. Niech ich pamięć na zawsze będzie błogosławiona. Niech ich dusze znaj± tylko pokój. Umieszczono tu w dniu 17 sierpnia 2002 r., który odpowiada 9 elul 5762 r. przez członków rodzin: Weinberg (Szumski), Powombrowski, Rean (Rynkowski), Warsman, Fish Bein, Zakowski, Sinklair i Rosen".
W ostatnich latach lapidarium było kilkakrotnie bezczeszczone. Na macewach malowano swastyki, potłuczono także tablicę pami±tkow±. Zniszczenia w znacznym stopniu utrudniaj± odczytanie inskrypcji nagrobnych.
Teren cmentarza gettowego został otoczony metalowym ogrodzeniem. Na jego skraju znajduje się stylizowany na macewę, współczesny pomnik z lastriko z napisem: "Cmentarz żydowski".
W paĽdzierniku 2014 r. odzyskano kilka macew, które podczas II wojny ¶wiatowej na rozkaz Niemców użyto do budowy schodów na posesjach przy ul. Kasztanowej. Nagrobki maj± trafić na cmentarz przy ul. Zarzecze. Do rozbiórki schodów przyczyniło się m.in. Towarzystwo Przyjaciół II Liceum Ogólnokształc±cego w Augustowie im. Polonii i Polaków na ¦wiecie.