Klášter byl založen v roce 1089, kdy Leopold II., markrabě rakouský, daroval jeden ze svých hradů benediktinským mnichům z opatství Lambach. Ve dvanáctém století byla založena klášterní škola Stiftsgymnasium Melk a klášterní knihovna se brzy proslavila rozsáhlou sbírkou rukopisů. Klášterní skriptorium bylo také významným místem pro výrobu rukopisů. V patnáctém století se klášter stal centrem melkského reformního hnutí, které oživilo klášterní život v Rakousku a jižním Německu.

Dnešní barokní klášter byl postaven v letech 1702-1736 podle plánů Jakoba Prandtauera. Za zmínku stojí zejména opatský kostel s freskami od Johanna Michaela Rottmayra a knihovna s nesčetnými středověkými rukopisy, včetně proslulé sbírky hudebních rukopisů a fresek od Paula Trogera.

Díky svému věhlasu a akademickému postavení se Melku podařilo uniknout zrušení za císaře Josefa II. v době, kdy bylo mnoho jiných rakouských opatství v letech 1780-1790 zabaveno a zrušeno. Klášteru se podařilo přežít i další ohrožení své existence během napoleonských válek a také v období po anšlusu v roce 1938, kdy byla škola a velká část kláštera zkonfiskována státem.

Škola byla klášteru vrácena po druhé světové válce a nyní se v ní učí téměř 900 žáků obou pohlaví.

Od roku 1625 je klášter členem rakouské kongregace, nyní v rámci benediktinské konfederace.

Umberto Eco ve svém románu Jméno růže pojmenoval jednoho z hlavních hrdinů „Adso z Melku“ jako poctu opatství a jeho slavné knihovně.

Mezi jeho absolventy patřil v 19. století rakouský dramatik a povídkář Friedrich Halm.

Melkské opatství je také metaforickým vyvrcholením („vrcholem v horském pásmu objevů“) autobiografického vyprávění Patricka Leigha Fermora o jeho pěší cestě po Evropě před druhou světovou válkou v knize Čas darů, která obsahuje popis tehdejšího opatství.

Klášter je součástí kulturní krajiny Wachau, která je zapsána na seznamu světového kulturního dědictví.