L’abbazia fu fondata nel 1089 quando Leopoldo II, Margravio d’Austria diede uno dei suoi castelli ai monaci benedettini dell’abbazia di Lambach. Una scuola monastica, lo Stiftsgymnasium Melk, fu fondata nel XII secolo, e la biblioteca monastica divenne presto famosa per la sua vasta collezione di manoscritti. Lo scriptorium del monastero era anche un importante sito per la produzione di manoscritti. Nel XV secolo l’abbazia divenne il centro del movimento di riforma di Melk che rinvigorì la vita monastica dell’Austria e della Germania meridionale.
L’odierna abbazia barocca fu costruita tra il 1702 e il 1736 su progetto di Jakob Prandtauer. Particolarmente degni di nota sono la chiesa abbaziale con affreschi di Johann Michael Rottmayr e la biblioteca con innumerevoli manoscritti medievali, tra cui una famosa collezione di manoscritti musicali e affreschi di Paul Troger.
Grazie alla sua fama e statura accademica, Melk riuscì a sfuggire alla dissoluzione sotto l’imperatore Giuseppe II quando molte altre abbazie austriache furono sequestrate e dissolte tra il 1780 e il 1790. L’abbazia riuscì a sopravvivere ad altre minacce alla sua esistenza durante le guerre napoleoniche, e anche nel periodo successivo all’Anschluss del 1938, quando la scuola e gran parte dell’abbazia furono confiscati dallo stato.
La scuola fu restituita all’abbazia dopo la seconda guerra mondiale e ora accoglie quasi 900 allievi di entrambi i sessi.
Dal 1625 l’abbazia è membro della Congregazione austriaca, ora all’interno della Confederazione Benedettina.
Nel suo romanzo Il nome della rosa, Umberto Eco ha chiamato uno dei protagonisti “Adso di Melk” in omaggio all’abbazia e alla sua famosa biblioteca.
Tra i suoi ex allievi c’era il drammaturgo e scrittore di racconti austriaco del XIX secolo, Friedrich Halm.
L’Abbazia di Melk è anche il culmine metaforico (“un picco in una catena montuosa di scoperte”) del resoconto autobiografico di Patrick Leigh Fermor del suo tour a piedi attraverso l’Europa prima della seconda guerra mondiale in A Time of Gifts, che include una descrizione dell’abbazia in quel periodo.
L’abbazia fa parte del paesaggio culturale della Wachau, un sito del patrimonio mondiale.