Klostret grundades 1089 när Leopold II, markgreve av Österrike, gav ett av sina slott till benediktinermunkar från Lambach Abbey. En klosterskola, Stiftsgymnasium Melk, grundades på 1100-talet, och klosterbiblioteket blev snart känt för sin omfattande samling av handskrifter. Klostrets scriptorium var också en viktig plats för produktion av manuskript. På femtonhundratalet blev klostret centrum för reformrörelsen i Melk som gav nytt liv åt klosterlivet i Österrike och södra Tyskland.

Dagens barockkloster byggdes mellan 1702 och 1736 efter ritningar av Jakob Prandtauer. Särskilt anmärkningsvärda är klosterkyrkan med fresker av Johann Michael Rottmayr och biblioteket med otaliga medeltida manuskript, inklusive en berömd samling musikaliska manuskript och fresker av Paul Troger.

På grund av sin berömmelse och akademiska status lyckades Melk undslippa upplösningen under kejsar Josef II när många andra österrikiska kloster beslagtogs och upplöstes mellan 1780 och 1790. Klostret lyckades överleva andra hot mot sin existens under Napoleonkrigen och även under perioden efter Anschluss 1938, då skolan och en stor del av klostret konfiskerades av staten.

Skolan återfördes till klostret efter andra världskriget och tar nu emot nästan 900 elever av båda könen.

Sedan 1625 har klostret varit medlem av den österrikiska kongregationen, som numera ingår i benediktinerkonfederationen.

I sin roman Rosens namn gav Umberto Eco en av huvudpersonerna namnet ”Adso från Melk” som en hyllning till klostret och dess berömda bibliotek.

Bland dess alumner fanns den österrikiske dramatikern och novellisten Friedrich Halm från 1800-talet.

Melk Abbey är också den metaforiska höjdpunkten (”a peak in a mountain range of discovery”) i Patrick Leigh Fermors självbiografiska berättelse om sin vandringstur genom Europa före andra världskriget i A Time of Gifts, som innehåller en beskrivning av klostret vid den tiden.

Klostret är en del av Wachau Cultural Landscape, ett världsarv.