Nerjalla on pitkä historia, josta todistavat sen kuuluisista Nerjan luolista löydetyt alkukantaiset maalaukset, jotka löydettiin vuonna 1959. Näiden luolien uskotaan nyt olevan vain yksi sisäänkäynti toisiinsa yhteydessä olevaan monien kilometrien pituiseen, Nerjan ja Granadan väliseen vuoristoon ulottuvaan vajoamissarjaan, joka saattaa vielä osoittautua yhdeksi Euroopan laajimmista tutkimattomista järjestelmistä. Luolissa vierailevat voivat nähdä yhden Nerjan muinaisen asukkaan jäännökset.
Roomalaiset rakensivat tänne kolme asutusta, muun muassa Detundan, josta on nyt nähtävissä suuria jäänteitä. Myöhemmin arabit valtasivat alueen 800-luvun alussa. Maurien aikana kaupunki tunnettiin nimellä Narixa, joka tarkoittaa ”runsasta lähdettä”, josta nykyinen nimi juontaa juurensa.
Nerjan maatalous- ja silkkituotteiden kerrotaan olleen kuuluisia koko muslimimaailmassa ja Damaskoksen markkinoilla jo 10. vuosisadalla.
Keskellä vanhaa kaupunkia sijaitsee Balcón de Europa, mirador eli näköalapaikka, josta avautuvat upeat näkymät yli meren. Yleisesti uskotaan, että sen nimen keksi kuningas Alfonso XII, joka vieraili alueella vuonna 1885 tuhoisan maanjäristyksen jälkeen ja ihastui maisemaan. Paikallinen kansanperinne kertoo, että hän seisoi paikalla, jossa Balcón nyt seisoo, ja sanoi: ”Tämä on Euroopan parveke”. Paikallisten arkistoasiakirjojen sanotaan osoittavan, että sen nimi on peräisin jo ennen tätä vierailua, mutta tämä ei ole estänyt viranomaisia sijoittamasta kaiteen viereen elävän kokoista (ja paljon valokuvattua) patsasta kuninkaasta.
Balcónin alue tunnettiin alun perin nimellä La Batería, mikä viittaa tykkipatteriin, joka sijaitsi siellä linnoitetussa tornissa. Tämä asemapaikka ja läheinen samanlainen torni tuhoutuivat niemimaan sodan aikana. Toukokuussa 1812 brittiläiset alukset Hyacinth, Termagant ja Basilisk tukivat espanjalaisia sissejä Granadan rannikolla ranskalaisia vastaan. Toukokuun 20. päivänä Termagant tai Hyacinth avasivat tulen ja linnakkeet tuhoutuivat. Kaksi ruosteista tykkiä, jotka on sijoitettu Balcónin päähän, muistuttavat näistä väkivaltaisista ajoista. Balcónin päässä meressä näkyvät valtavat kalliomöhkäleet, La Baterían jäännökset, ovat toinen todiste tästä toiminnasta.
