Opactwo zostało założone w 1089 r., kiedy Leopold II, margrabia Austrii, przekazał jeden ze swoich zamków benedyktynom z opactwa Lambach. W XII wieku powstała szkoła przyklasztorna, Stiftsgymnasium Melk, a biblioteka klasztorna szybko stała się znana z bogatej kolekcji manuskryptów. Klasztorne skryptorium było również ważnym miejscem produkcji manuskryptów. W XV wieku opactwo stało się centrum ruchu reformatorskiego w Melk, który ożywił życie klasztorne w Austrii i południowych Niemczech.

Dzisiejsze barokowe opactwo zostało zbudowane w latach 1702-1736 według projektu Jakoba Prandtauera. Na szczególną uwagę zasługuje kościół opacki z freskami Johanna Michaela Rottmayra oraz biblioteka z niezliczoną ilością średniowiecznych manuskryptów, w tym słynną kolekcją manuskryptów muzycznych i fresków Paula Trogera.

Dzięki swojej sławie i akademickiemu statusowi, Melk zdołał uniknąć rozwiązania za czasów cesarza Józefa II, kiedy wiele innych austriackich opactw zostało zajętych i rozwiązanych w latach 1780-1790. Opactwo zdołało przetrwać inne zagrożenia dla swojego istnienia podczas wojen napoleońskich, a także w okresie po Anschlussie w 1938 roku, kiedy szkoła i duża część opactwa zostały skonfiskowane przez państwo.

Szkoła została zwrócona opactwu po II wojnie światowej i obecnie kształci prawie 900 uczniów obu płci.

Od 1625 roku opactwo jest członkiem Kongregacji Austriackiej, obecnie w Konfederacji Benedyktyńskiej.

W swojej powieści Imię róży Umberto Eco nazwał jednego z bohaterów „Adso z Melk” jako hołd dla opactwa i jego słynnej biblioteki.

Wśród jego wychowanków był dziewiętnastowieczny austriacki dramaturg i autor opowiadań, Friedrich Halm.

Opactwo Melk jest również metaforycznym punktem kulminacyjnym („szczyt w górskim paśmie odkryć”) autobiograficznej relacji Patricka Leigh Fermora z jego pieszej podróży po Europie przed II wojną światową w książce A Time of Gifts, która zawiera opis opactwa w tym czasie.

Opactwo jest częścią Krajobrazu Kulturowego Wachau, wpisanego na listę światowego dziedzictwa.

.