Nerja hosszú múltra tekint vissza, amit az 1959-ben felfedezett híres nerjai barlangokban talált ősi festmények is bizonyítanak. Ma már úgy vélik, hogy ezek a barlangok csak az egyik bejárata a Nerja és Granada közötti hegyekben több kilométer hosszan húzódó, összefüggő víznyelők sorozatának, amely Európa egyik legkiterjedtebb feltáratlan rendszerének bizonyulhat. A barlangok látogatói megtekinthetik Nerja egyik ősi lakosának maradványait.
A rómaiak három települést építettek itt, köztük Detundát, amelynek ma már jelentős maradványai láthatók. A területet később, a 8. század elején az arabok foglalták el. A mórok alatt a város Narixa néven volt ismert, ami “bőséges forrást” jelent, innen ered a mai neve.
A mezőgazdasági és selyemtermékei állítólag már a 10. században híresek voltak a muszlim világban és a damaszkuszi piacokon.
A régi város központjában található a Balcón de Europa, egy mirador vagy kilátó, ahonnan lenyűgöző kilátás nyílik a tengerre. Nevét a közhiedelem szerint XII. Alfonz királyról kapta, aki 1885-ben, egy katasztrofális földrengést követően látogatta meg a területet, és el volt ragadtatva a látványtól. A helyi néphagyomány szerint megállt azon a helyen, ahol most a Balcón áll, és azt mondta: “Ez Európa erkélye”. A helyi levéltári dokumentumokból állítólag kiderül, hogy a név már e látogatás előtt is létezett, de ez nem akadályozta meg a hatóságokat abban, hogy egy életnagyságú (és sokat fényképezett) szobrot állítsanak a korlát mellett álló királyról.
A Balcón területét eredetileg La Batería néven ismerték, ami az ott lévő, erődített toronyban lévő ágyútöltényre utal. Ez az erődítmény és egy hasonló torony a közelben elpusztult a félszigeti háború alatt. 1812 májusában a Hyacinth, a Termagant és a Basilisk brit hajók a spanyol gerillákat támogatták Granada partjainál a franciák ellen. Május 20-án a Termagant vagy a Hyacinth tüzet nyitott, és az erődök megsemmisültek. A Balcón végében elhelyezett két rozsdás ágyú emlékeztet ezekre az erőszakos időkre. A Balcón végénél a tengerben látható hatalmas szikladarabok, a La Batería maradványai, további bizonyítékai ennek az akciónak.
