La abadía se fundó en 1089 cuando Leopoldo II, margrave de Austria, cedió uno de sus castillos a los monjes benedictinos de la abadía de Lambach. En el siglo XII se fundó una escuela monástica, el Stiftsgymnasium Melk, y la biblioteca monástica pronto se hizo famosa por su extensa colección de manuscritos. El scriptorium del monasterio era también un lugar importante para la producción de manuscritos. En el siglo XV, la abadía se convirtió en el centro del movimiento de la Reforma de Melk, que revitalizó la vida monástica de Austria y del sur de Alemania.
La actual abadía barroca fue construida entre 1702 y 1736 según los diseños de Jakob Prandtauer. Destacan la iglesia de la abadía con frescos de Johann Michael Rottmayr y la biblioteca con innumerables manuscritos medievales, incluyendo una famosa colección de manuscritos musicales y frescos de Paul Troger.
Debido a su fama y estatura académica, Melk logró escapar a la disolución bajo el emperador José II cuando muchas otras abadías austriacas fueron confiscadas y disueltas entre 1780 y 1790. La abadía logró sobrevivir a otras amenazas a su existencia durante las Guerras Napoleónicas, y también en el período posterior al Anschluss en 1938, cuando la escuela y una gran parte de la abadía fueron confiscadas por el Estado.
La escuela fue devuelta a la abadía después de la Segunda Guerra Mundial y ahora atiende a cerca de 900 alumnos de ambos sexos.
Desde 1625 la abadía ha sido miembro de la Congregación Austriaca, ahora dentro de la Confederación Benedictina.
En su novela El nombre de la rosa, Umberto Eco nombró a uno de los protagonistas «Adso de Melk» como homenaje a la abadía y a su famosa biblioteca.
Entre sus ex alumnos se encontraba el dramaturgo y cuentista austriaco del siglo XIX, Friedrich Halm.
La abadía de Melk es también el clímax metafórico («un pico en una cordillera de descubrimientos») del relato autobiográfico de Patrick Leigh Fermor sobre su recorrido a pie por la Europa anterior a la Segunda Guerra Mundial en A Time of Gifts, que incluye una descripción de la abadía en aquella época.
La abadía forma parte del Paisaje Cultural de Wachau, Patrimonio de la Humanidad.