打製石器や貝塚などが多数発掘されているが、青銅器時代から集団で暮らすようになったとみられる。
青銅器時代の長川里先史住居址や900基余りに及ぶドルメン細形銅剣、(元)鳩林出土青銅器鎔范(国宝第231号)などの遺物から、当時ハイテク(Hightech)文化集団が住んでいた地域であることが分かる。

馬韓の中心であった目支国の最後の中心圏がここで、54国のうち月支国と推定される。
紀元後1～5世紀まで、大型甕棺古墳文化という独特な栄山江流域文化を形成し、甕棺製造技術は甕器製造技術の土台となった。
大型甕棺古墳100基余りが分布しており、始終面の内洞里双墓は3世紀のもので、日本の前方後円墳形成に直・間接的な影響を及ぼした可能性がある。

百済の月奈郡と呼ばれていた。
王仁博士が405年に日本の応神天皇より招待されて日本へ渡り、飛鳥文化の基礎を築いた。 中国や日本との国際貿易港として利用されていた上台浦は、王仁が日本へ向かって出発した港として有名。新羅末に崔致遠、崔承祐、金可紀などが唐に渡る際もここを利用した。
霊岩～黒山島近海～山東半島とつながる海路が古くから利用されていたという文献記録がある。

統一新羅景徳王16年(757年)、霊岩郡に改称。
鳩林土器窯址(史跡338号)は施釉陶器文化の発祥地で、海南の緑茶、康津の青磁製造技術の原動力となった。
月出山天皇峰小祀址では国の安泰を祈願する薦新祭(『三国史記』祭祀条)が行われてきたと伝えられている。

後百済の甄萱王と高麗の太祖・王建が海上権掌握をめぐって戦った最大の激戦地で、刀を研ぐために砥石を掘り出してできた砺石山天池などから当時の様子がうかがえる。

成宗14年(995年)に安南都護府の一つである浪州となった後、顕宗9年(1018年)に再び霊岩に改称され、現在にいたっている。
天文博士・崔知夢(907～987)が儒学と天文学で高麗の建国と高麗王朝初期の安定に貢献した。
韓国最大の磨崖仏である月出山磨崖如来坐像(国宝第144号)や1009年に建立された聖風寺址五層石塔(宝物第1118号)、道岬寺の石造如来坐像(宝物第89号)などから、霊岩の仏教文化が隆盛したことが分かる。
韓国3大海神堂の一つである南海神祠では、高麗顕宗朝のときから国朝五礼儀によって海神祭を行ってきた。

行政区域は莞島の長佐島(清海鎮)をはじめ、南は甫吉島や楸子島にいたる広大な地域を管轄していた。1409年に珍島が珍島郡に分割されて三山面・玉泉面・花源面一帯が海南に編入され、1896年には甫吉島と楸子島が莞島郡に、北平面や松旨面などが海南郡に属するようになる一方、羅州に属していた始終・新北面の一部と金井面が霊岩郡に編入された。
人口は1423年度に1,229人(世宗実録地理志)、1789年に29,288人(与地図書)と記録されている。郷約を基礎とした鳩林大洞契は1565年(明宗20年)に創立され、郷約に基づく地方の秩序を確立。
文学では『錦城別曲』を著した五恨・朴成乾、三唐詩人の一人である孤竹・崔慶昌、烟村・崔徳之、また鶴城郡の金完将軍など、数多くの歴史的人物を輩出。 霊岩出身の楽聖・金昌祖(1856～1919년)は、民族の情緒を昇華させた不朽の音楽様式「伽倻琴散調」を生み出した。韓成基、金竹坡、金炳昊などの名人を輩出した散調音楽のふるさと。

979年に霊岩面が、2003年に三湖面が邑に昇格し、2邑9面となって現在にいたっている。
霊岩は1965年に141,489人が住んでいたが、離農現象や学校群制度などによって1995年には62,400人にまで減少し、現在の人口は65,699人で増加傾向を見せている。 1988年に月出山が国立公園に指定される(第20号)。大韓民国で最初の憲法を起草した建国元勲である朗山・金俊淵の故郷で、数多くの逸材を輩出した歴史と文化の息づく地。