Gmina żydowska w Augustowie posiadała kilka miejsc pochówku. Najstarszy cmentarz powstał w rejonie obecnych ulic Polnej, Żabiej i Jonkajtysa. Był czynny co najmniej do końca XVIII w., kiedy pruskie władze miejskie ze względów sanitarnych przystąpiły do przenoszenia cmentarzy poza obszar zabudowany. W 1799 r. na wydmach za rzeką Nettą, w pobliżu obecnej ul. Zarzecze, otwarto nowy cmentarz katolicki, a rok później podobnie uczyniono z cmentarzem żydowskim.
Na przestrzeni kolejnych dekad nowa lokalizacja okazała się kłopotliwa dla mieszkańców. W 1826 r. rozebrano most przez rzekę, co spowodowało poważne utrudnienia. Kondukty żałobne docierały na cmentarz znacznie dłuższą drogą. Część zwłok transportowano łodziami. Jednym z przewoźników rzecznych był Żyd o imieniu Fajwa. Od jego imienia w Augustowie przyjęło się powiedzenie "Popłynąć za Fajwą", oznaczające śmierć.
Nowy cmentarz zajmował działkę w kształcie wydłużonego prostokąta, o przybliżonych wymiarach 80 x 300 m. Jego teren otaczał parkan o wysokości 4 stóp. W południowo-wschodnim narożniku wzniesiono dom przedpogrzebowy.
W latach 1941-1942 r. na działce przy obecnej ul. Waryńskiego, w pobliżu wylotu ul. Jaćwieskiej, powstał cmentarz, na którym grzebano ciała ludzi zmarłych lub zabitych w getcie. Prawdopodobnie pochowano tu nie mniej niż kilkadziesiąt osób.
Wszystkie cmentarze uległy daleko posuniętej dewastacji. Wszelkie naziemne ślady starego cmentarza uległy całkowitemu zatarciu. W latach 2004-2006, podczas przebudowy ul. Jonkajtysa, robotnicy natrafili na kości.
Zniszczeniu uległ także cmentarz przy ul. Zarzecze. Nagrobki zostały wyrwane i użyte m. in. do utwardzania dróg i celów budowlanych. Przy ul. Zarzecze 2a zachował się budynek dawnego domu przedpogrzebowego, obecnie wykorzystywany jako lokal mieszkalny.
W 1981 r. z inicjatywy Żydów pochodzących z Augustowa i ich potomków, na nowym cmentarzu urządzono niewielkie lapidarium, do budowy którego wykorzystano nieliczne odnalezione nagrobki. W centralnej części lapidarium wzniesiono stylizowany na macewę pomnik z napisami w języku hebrajskim, polskim i angielskim: "Miejsce poświęcone. Na tym cmentarzu spoczywają tysiące Żydów, mieszkańców Augustowa i ziemi augustowskiej. Niech ich dusze będą związane w wieniec życia wiecznego. Fundatorzy: potomkowie rodzin pochodzących z Augustowa: Sokolski, Gradowski, Lewinson, Słowatycki. Wszyscy ci ludzie pochowani są w ziemi świętej, którą czcimy. Niech dusze ich będą związane w wieniec życia wiecznego". Tuż obok znajduje się niewielka tablica z napisem w języku angielskim o treści: "Ku pamięci członków naszych rodzin, którzy zginęli podczas Holocaustu, nigdy nie doświadczyli pełnego i radosnego życia, żyjących przed odbudową ludu żydowskiego w kraju Izraela. Niech ich pamięć na zawsze będzie błogosławiona. Niech ich dusze znają tylko pokój. Umieszczono tu w dniu 17 sierpnia 2002 r., który odpowiada 9 elul 5762 r. przez członków rodzin: Weinberg (Szumski), Powombrowski, Rean (Rynkowski), Warsman, Fish Bein, Zakowski, Sinklair i Rosen".
W ostatnich latach lapidarium było kilkakrotnie bezczeszczone. Na macewach malowano swastyki, potłuczono także tablicę pamiątkową. Zniszczenia w znacznym stopniu utrudniają odczytanie inskrypcji nagrobnych.
Teren cmentarza gettowego został otoczony metalowym ogrodzeniem. Na jego skraju znajduje się stylizowany na macewę, współczesny pomnik z lastriko z napisem: "Cmentarz żydowski".
W październiku 2014 r. odzyskano kilka macew, które podczas II wojny światowej na rozkaz Niemców użyto do budowy schodów na posesjach przy ul. Kasztanowej. Nagrobki mają trafić na cmentarz przy ul. Zarzecze. Do rozbiórki schodów przyczyniło się m.in. Towarzystwo Przyjaciół II Liceum Ogólnokształcącego w Augustowie im. Polonii i Polaków na Świecie.