Siedlce stały się własnością Michała i Anny książąt Czartoryskich przed 20 sierpnia 1672 r. Z tego bowiem dnia pochodził przywilej przez nich nadany mieszczanom siedleckim po pożarze miasta nadający im własność dziedziczną gruntów, placów i domów. Tak przynajmniej podano w Słowniku geograficznym Królestwa Polskiego i innych krajów słowiańskich. Poprzednimi właścicielami były rody Olędzkich (nazywanych też Siedleckimi) i prawdopodobnie Wodyńscy. Nie wiadomo czy jeszcze za czasów tych poprzednich właścicieli Siedlec wzniesiono drewniany dwór o którym wspomniano w dokumentach z końca wieku XVII. Przed rokiem 1730 w jego miejscu wzniósł murowany pałac Kazimierz Czartoryski syn Michała żonaty z Izabellą Morsztynówną. Gruntowny remont tegoż pałacu przeprowadzono na polecenie syna Kazimierza - Michała Fryderyka Czartoryskiego w latach 1769-1770. Dziesięć lat później znów pałac gruntownie przebudowano. Z polecenie Aleksandry Ogińskiej (córki Michała Fryderyka Czartoryskiego) projekt przebudowy stworzył Stanisław Zawadzki. Pojawiła się nowa elewacja frontowa. Budynek główny podniesiono o jedną kondygnację i dobudowano skrzydła poprzeczne.
Pokaż Pałace dwory zamki na większej mapie
Ale dziś oglądamy budynek też już mocno zmieniony. Po przekazaniu Siedlec przez Czartoryskich rządowi w zamian za dobra na Lubelszczyźnie (1807) pałac zmieniał swoje przeznaczenie i w związku z tym był przebudowywany. Głównie zmieniano jednak jego wnętrza. Siedzibę w nim miał między innymi Rząd Gubernialny (do 1912 r.). Od 1915 siedziba ewakuowanej z Wilna Dyrekcji Kolei. Od 1921 roku Kurii Biskupiej. W latach 1924-1939 w pałacu funkcjonowało Gimnazjum Biskupie. W okresie okupacji niemieckiej podczas II wojny światowej pałac zajmował Wehrmacht. W 1944 roku budynek spłonął. Jego odbudowę przeprowadzono w 1950 roku zmieniając układ wnętrz. Kolejny remont przeprowadzono w roku 1960, a od 2006 r. jest siedzibą szkoły wyższej.
Więcej zdjęć znaleźć można na stronach Uniwersytetu Przyrodniczo-Humanistycznego w Siedlcach oraz na stronie Zwiedzamy Siedlce. Oprócz wymienionych już źródeł informacji korzystałem jeszcze z Wikipedii.
W pobliżu pałacu, przy ulicy Starowiejskiej znajduje się też kaplica Ogińskich
Kaplica powstała w 1791 roku na miejscu dawnego kościoła parafialnego i cmentarza przykościelnego (od 1740 roku Siedlce posiadały nową świątynię parafialną przy rynku, ufundowaną przez Czartoryskich). Projekty wykonał na polecenie Aleksandry Ogińskiej Zygmunt Vogel. Jest to jedyny zachowany i zrealizowany projekt architektoniczny tegoż artysty, który od roku 1787 na zlecenia króla Stanisława Augusta podróżował po Polsce rysując zamki, dwory, pałace i ich ruiny oraz zbierając na ich temat informacje. Talenty artysty, który wykształcenie zdobył dzięki pomocy Czartoryskich i korzystał z protekcji króla jak i możnych ówczesnej Rzeczypospolitej (szczególnie Stanisława Kostki Potockiego) wykorzystywali również w swoich celach właściciele wielu majątków. Tak było i z Aleksandrą Ogińską. Jej celem była budowa kaplicy grobowej. Stąd zapewne wybór miejsca - cmentarza przykościelnego. W czasach gdy kaplica powstawała oddzielał ją od pałacu kanał wypełniony wodą. Przypomina się o tym często by zaznaczyć, że nie była częścią zespołu pałacowo-parkowego. Właściwa nazwa kaplicy to: kaplica grobowa p.w. Św. Krzyża. Aleksandra Ogińska spoczęła w niej w 1798 roku.
Zachowała się akwarela Z. Vogla przedstawiająca kaplicę zaraz po wzniesieniu (chyba, mogła to być równie dobrze wizja artystyczna ponieważ akwarela jest datowana na ten sam rok co i budowa kaplicy). W tle widać pałac.
Obok kaplicy umieszczono w 1991 roku płytę upamiętniającą dwusetną rocznicę budowy kaplicy i Konstytucji 3-go Maja.
Źródła: Biografia Zygmunta Vogla, o kaplicy w Wikipedii, założona przez Witolda Raczunasa Galeria Malarstwa Polskiego