Nerja má dlouhou historii, o níž svědčí primitivní malby nalezené ve slavných jeskyních Nerja, objevených v roce 1959. Tyto jeskyně jsou dnes považovány pouze za jeden z vchodů do propojené řady závrtů táhnoucích se mnoho kilometrů do hor mezi Nerjou a Granadou, které se možná ještě ukáží jako jeden z nejrozsáhlejších neprozkoumaných systémů v Evropě. Návštěvníci jeskyní si budou moci prohlédnout pozůstatky jednoho z dávných obyvatel Nerji.
Římané zde vybudovali tři osady, včetně Detundy, z níž jsou dnes k vidění rozsáhlé pozůstatky. Později, na počátku 8. století, oblast ovládli Arabové. Za Maurů bylo město známé jako Narixa, což znamená „vydatný pramen“, od něhož je odvozen současný název.
Jeho zemědělské a hedvábné produkty byly údajně proslulé v celém muslimském světě a na trzích v Damašku již v 10. století.
V centru starého města se nachází Balcón de Europa, mirador neboli vyhlídka, ze které je nádherný výhled na moře. Traduje se, že její název vymyslel král Alfons XII, který tuto oblast navštívil v roce 1885 po katastrofálním zemětřesení a byl tímto výjevem okouzlen. Podle místní pověsti stál na místě, kde dnes stojí Balcón, a řekl: „Toto je balkón Evropy“. Z místních archivních dokumentů prý vyplývá, že jeho jméno vzniklo ještě před touto návštěvou, což však úřadům nezabránilo v umístění sochy krále stojícího u zábradlí v životní velikosti (a hojně fotografované).
Původně byl areál Balcón znám jako La Batería, což je odkaz na dělovou baterii, která se zde nacházela v opevněné věži. Toto stanoviště a podobná věž poblíž byly zničeny během poloostrovní války. V květnu 1812 podporovaly britské lodě Hyacinth, Termagant a Basilisk španělské partyzány na pobřeží Granady v boji proti Francouzům. Dne 20. května zahájily lodě Termagant nebo Hyacinth palbu a pevnosti byly zničeny. Dvě zrezivělá děla umístěná na konci řeky Balcón jsou připomínkou těchto násilných časů. Obrovské kusy skály, pozůstatky La Batería, viditelné v moři na konci Balcónu, jsou dalším důkazem této akce.
.