据现代考古发现，连江至少在五千多年前就有先民在此繁衍生息。远古时代属扬州的区域，夏至周代为"七闽"地。到春秋战国时代，与福建毗邻的于越（或称"於越"，在今浙江省境域）被楚国吞并，大批居民纷纷向福建迁移，逐渐融合成闽越族，建立了闽越国，连江属闽越国辖地。秦始皇统一中国后，废除闽越国，连江隶属闽中郡。汉高祖五年（公元前202年），因闽越首领无诸等帮助汉王刘邦反秦灭楚有功，汉封无诸为闽越王，连江归他管辖。西汉元封元年（公元前110年）汉灭闽越国，让百姓迁移到江淮一带，连江改属会稽郡（郡治在今苏州）管辖。到西汉始元二年（公元前85年），闽越遗民返迁，自立冶县（在今福州）--这是福建最早置县，连江属它管辖。

　　西晋泰始年间（265-274年），在伏沙（今敖江镇白沙村）设置温麻镇，建有镇帅竖旗处和石塔等，后来毁坏无存。

　　西晋太康三年（282年），连江建县，称为温麻县，隶属晋安郡（郡治在今福州），直到隋大业二年（606年）隶属都没有变化。

　　隋大业三年（607年），大量裁减郡县，温麻县并入原丰县（治所福州，后改称闽县）。但只过了16年，在唐武德六年（623年）又从闽县析出，重置温麻县，同年改名连江县，"以县治连接江水故名"（宋《三山志》）。

　　唐天宝元年（742年），县衙所在地从伏沙迁移到今址，因地形似展翅凤凰，又名凤城。

　　从唐武德六年到清代末年，经历1289年，连江县都隶属福州。

　　中华民国元年（1912年）废府设道，连江属东路道（后改闽海道）。1925年，道废，连江为福建省直辖县。1933年11月，国民革命军第十九路军发动"福建事变"，在福州成立中华共和国人民革命政府，将福建划分为4个省2个特别市，连江隶属闽海省。翌年1月事变失败，连江再度成为省直辖县。1934年7月，福建划为10个行政督察区，连江隶属第一行政督察区。1947年，福建划为7个督察区，连江第三次成为省直辖县。

　　1949年8月，福州、连江解放后，连江县隶属福建省人民政府第四行政督察专员公署（1950年改名闽侯专员公署）。1956年6月，闽侯专署撤销，连江第一次改属福安专署。1959年8月，恢复闽侯专署，连江又归它管辖。1961年11月，连江划归福州市。1963年8月，再划属闽侯专署。1970年7月，第二次划属福安专署（翌年迁址改名宁德地区）。1983年7月，连江重归福州市管辖至今。