De abdij werd gesticht in 1089 toen Leopold II, markgraaf van Oostenrijk, een van zijn kastelen schonk aan de benedictijner monniken van de abdij van Lambach. In de twaalfde eeuw werd een kloosterschool, het Stiftsgymnasium Melk, gesticht en de kloosterbibliotheek werd al snel beroemd om haar uitgebreide collectie manuscripten. Het scriptorium van het klooster was ook een belangrijke plaats voor de productie van manuscripten. In de vijftiende eeuw werd de abdij het centrum van de hervormingsbeweging van Melk, die het monastieke leven in Oostenrijk en Zuid-Duitsland nieuw leven inblies.

De huidige barokke abdij werd tussen 1702 en 1736 gebouwd naar een ontwerp van Jakob Prandtauer. Bijzonder opmerkelijk zijn de abdijkerk met fresco’s van Johann Michael Rottmayr en de bibliotheek met talloze middeleeuwse manuscripten, waaronder een beroemde collectie muzikale manuscripten en fresco’s van Paul Troger.

Dankzij haar faam en academische status wist Melk te ontsnappen aan ontbinding onder keizer Jozef II toen vele andere Oostenrijkse abdijen tussen 1780 en 1790 in beslag werden genomen en opgeheven. De abdij overleefde andere bedreigingen voor haar bestaan tijdens de Napoleontische oorlogen, en ook in de periode na de Anschluss in 1938, toen de school en een groot deel van de abdij door de staat werden geconfisqueerd.

De school werd na de Tweede Wereldoorlog aan de abdij teruggegeven en telt nu bijna 900 leerlingen van beide geslachten.

Sinds 1625 is de abdij lid van de Oostenrijkse Congregatie, nu binnen de Benedictijnse Confederatie.

In zijn roman De naam van de roos noemde Umberto Eco een van de hoofdpersonen “Adso van Melk” als eerbetoon aan de abdij en haar beroemde bibliotheek.

Onder haar alumni bevond zich de negentiende-eeuwse Oostenrijkse dramaturg en korte-verhalenschrijver, Friedrich Halm.

De abdij van Melk is ook het metaforische hoogtepunt (“een piek in een bergketen van ontdekkingen”) van het autobiografische verslag van Patrick Leigh Fermor van zijn wandeltocht door het Europa van voor de Tweede Wereldoorlog in A Time of Gifts, dat een beschrijving van de abdij in die tijd bevat.

De abdij maakt deel uit van het Wachau Cultuurlandschap, dat op de Werelderfgoedlijst staat.