Najokazalszy budynek znajdujący się w samym centrum Parku Oliwskiego. To on skupia na sobie całą uwagę, a turyści chętnie przyjeżdżają, by go obejrzeć.

Zabytkowy pałac w Oliwie utworzony w stylu gotyckim. Składa się ze starego skrzydła wschodniego i nowego – południowego. Najstarszą częścią budynku jest, tak zwany Stary Pałac powstał w XV wieku. Dowodem na to są pozostałe wymiary i układ cegieł. Na zewnątrz pozostawione zostały nieotynkowane fragmenty muru. W 1577 roku budynek został powiększony i służył opatom do XVII wieku. W tym okresie dobudowano do niego Nowy Pałac.

Ostateczny kształt budynek otrzymał w latach 1754-1756. Przebudowę sfinansowano z fundacji ostatniego opata klasztoru oliwskiego Jacka Rybińskiego. Utrzymany został w stylu rokoko, który charakteryzował się kameralnością i dekoracyjnością form, swobodną kompozycją, asymetrią linii i motywami egzotycznymi. Styl rokokowy związany był głownie z życiem dworskim.

W ciągu swojego żywota Pałac Opatów raz był rozbierany, a drugi raz odnawiany. W 1831 roku nastąpiła całkowita likwidacja klasztoru oliwskiego. Jego dobra zostały podzielone pomiędzy króla pruskiego i miasto Gdańsk. W okresie Wolnego Miasta Gdańska w komnatach pałacowych znajdowało się muzeum krajowe, natomiast pod koniec II wojny światowej znów pałac dotknęły tragiczne działania. W ramach czyszczenia przedpola frontu przez Armią Czerwoną, Niemcy podpalili klasztor. Po dwudziestu latach został ponownie odbudowany i pełnił funkcję działu etnograficznego Muzeum Pomorskiego. Od 1989 roku mieści się w nim Oddział Sztuki Nowoczesnej Muzeum Narodowego w Gdańsku. Znajduje się tutaj stała ekspozycja dzieł polskich artystów XIX i XX wieku. W Oddziale znajduje się również galeria promująca prace młodych twórców. Bardzo często organizowane są wystawy czasowe sztuki współczesnej, koncerty, spotkania z artystami i konferencje. Ponadto, co roku latem organizowany jest festiwal muzyki Mozarta „Mozartiana”, podczas którego można wysłuchać największych utworów kompozytora i obejrzeć iluminację.