L’abbaye fut fondée en 1089 lorsque Léopold II, margrave d’Autriche, donna l’un de ses châteaux aux moines bénédictins de l’abbaye de Lambach. Une école monastique, le Stiftsgymnasium Melk, fut fondée au XIIe siècle, et la bibliothèque monastique devint rapidement renommée pour sa vaste collection de manuscrits. Le scriptorium du monastère était également un site important pour la production de manuscrits. Au quinzième siècle, l’abbaye est devenue le centre du mouvement de réforme de Melk, qui a revigoré la vie monastique de l’Autriche et de l’Allemagne du Sud.
L’abbaye baroque d’aujourd’hui a été construite entre 1702 et 1736 sur des plans de Jakob Prandtauer. L’église abbatiale avec des fresques de Johann Michael Rottmayr et la bibliothèque avec d’innombrables manuscrits médiévaux, dont une célèbre collection de manuscrits musicaux et des fresques de Paul Troger, sont particulièrement remarquables.
En raison de sa renommée et de sa stature académique, Melk a réussi à échapper à la dissolution sous l’empereur Joseph II lorsque de nombreuses autres abbayes autrichiennes ont été saisies et dissoutes entre 1780 et 1790. L’abbaye a réussi à survivre à d’autres menaces à son existence pendant les guerres napoléoniennes, et aussi dans la période suivant l’Anschluss en 1938, lorsque l’école et une grande partie de l’abbaye ont été confisquées par l’État.
L’école a été rendue à l’abbaye après la Seconde Guerre mondiale et accueille aujourd’hui près de 900 élèves des deux sexes.
Depuis 1625, l’abbaye est membre de la Congrégation autrichienne, aujourd’hui au sein de la Confédération bénédictine.
Dans son roman Le nom de la rose, Umberto Eco a nommé l’un des protagonistes « Adso de Melk » en hommage à l’abbaye et à sa célèbre bibliothèque.
Parmi ses anciens élèves figure le dramaturge et nouvelliste autrichien du XIXe siècle, Friedrich Halm.
L’abbaye de Melk est également le point culminant métaphorique (« un pic dans une chaîne de montagnes de découverte ») du récit autobiographique de Patrick Leigh Fermor sur son tour à pied à travers l’Europe d’avant la Seconde Guerre mondiale dans A Time of Gifts, qui comprend une description de l’abbaye à cette époque.
L’abbaye fait partie du paysage culturel de la Wachau, un site du patrimoine mondial.