Af klosteret blev grundlagt i 1089, da Leopold II, markgreve af Østrig, gav et af sine slotte til benediktinermunkene fra Lambach Abbey. En klosterskole, Stiftsgymnasium Melk, blev grundlagt i det tolvte århundrede, og klosterbiblioteket blev hurtigt berømt for sin omfattende samling af håndskrifter. Klostrets scriptorium var også et vigtigt sted for fremstilling af håndskrifter. I det femtende århundrede blev klosteret centrum for reformbevægelsen i Melk, som gav nyt liv til klosterlivet i Østrig og Sydtyskland.
Det nuværende barokkloster blev bygget mellem 1702 og 1736 efter tegninger af Jakob Prandtauer. Særligt bemærkelsesværdige er klosterkirken med fresker af Johann Michael Rottmayr og biblioteket med utallige middelalderlige manuskripter, herunder en berømt samling af musikmanuskripter og fresker af Paul Troger.
På grund af sin berømmelse og akademiske status lykkedes det Melk at undgå opløsning under kejser Josef II, da mange andre østrigske klostre blev beslaglagt og opløst mellem 1780 og 1790. Klosteret formåede at overleve andre trusler mod dets eksistens under Napoleonskrigene og også i perioden efter Anschluss i 1938, hvor skolen og en stor del af klosteret blev konfiskeret af staten.
Skolen blev tilbageført til klosteret efter Anden Verdenskrig og har nu plads til næsten 900 elever af begge køn.
Siden 1625 har klosteret været medlem af den østrigske kongregation, som nu hører til Benediktinerkonføderationen.
I sin roman “Rosens navn” kaldte Umberto Eco en af hovedpersonerne “Adso af Melk” som en hyldest til klosteret og dets berømte bibliotek.
Blandt klostrets tidligere elever var den østrigske dramatiker og novelleforfatter Friedrich Halm fra det nittende århundrede.
Melk Abbey er også det metaforiske højdepunkt (“a peak in a mountain range of discovery”) i Patrick Leigh Fermors selvbiografiske beretning om sin vandretur gennem Europa før Anden Verdenskrig i A Time of Gifts, som indeholder en beskrivelse af klosteret på det tidspunkt.
Klosteret er en del af Wachau Kulturlandskab, som er på verdensarvslisten.