A abadia foi fundada em 1089 quando Leopoldo II, Marquês da Áustria deu um de seus castelos aos monges beneditinos da Abadia de Lambach. Uma escola monástica, o Stiftsgymnasium Melk, foi fundada no século XII, e a biblioteca monástica logo se tornou famosa por sua extensa coleção de manuscritos. O scriptorium do mosteiro era também um local importante para a produção de manuscritos. No século XV, a abadia tornou-se o centro do movimento da Reforma Melk que revigorou a vida monástica da Áustria e do sul da Alemanha.

A abadia barroca de hoje foi construída entre 1702 e 1736 para projetos de Jakob Prandtauer. Particularmente notável é a igreja da abadia com frescos de Johann Michael Rottmayr e a biblioteca com inúmeros manuscritos medievais, incluindo uma famosa coleção de manuscritos musicais e frescos de Paul Troger.

De acordo com sua fama e estatura acadêmica, Melk conseguiu escapar da dissolução sob o imperador José II, quando muitas outras abadias austríacas foram apreendidas e dissolvidas entre 1780 e 1790. A abadia conseguiu sobreviver a outras ameaças à sua existência durante as Guerras Napoleônicas, e também no período seguinte ao Anschluss em 1938, quando a escola e grande parte da abadia foram confiscadas pelo estado.

A escola foi devolvida à abadia após a Segunda Guerra Mundial e agora atende a quase 900 alunos de ambos os sexos.

Desde 1625 a abadia é membro da Congregação Austríaca, agora dentro da Confederação Beneditina.

No seu romance O Nome da Rosa, Umberto Eco nomeou um dos protagonistas “Adso de Melk” como homenagem à abadia e à sua famosa biblioteca.

Entre os seus antigos alunos estava o dramaturgo e escritor de contos austríaco do século XIX, Friedrich Halm.

A abadia de Melk é também o clímax metafórico (“um pico numa cordilheira de descobertas”) do relato autobiográfico de Patrick Leigh Fermor sobre o seu passeio a pé pela Europa pré-WW II em A Time of Gifts, que inclui uma descrição da abadia naquela época.

A abadia faz parte da Paisagem Cultural Wachau, Património Mundial.