灵山卫位于胶南市区以东15.1公里处，北依小珠山，南濒黄海，与灵山岛隔海相望。民国《增修胶志·艺文》载：“灵山卫距胶州之南九十里，左右皆崇山，其南一望无际者，海也。有山涌出其间，俨若翠屏天开者，灵山也。卫因山而名。”

　　与沿海各卫所一样，设立灵山卫主要是为了防御倭寇。《卫志·舆图》载：“设卫所以防海也。近代自元以来，海氛不靖，倭寇杀掠尤惨。有明深鉴于此，故沿海设立、所，防御甚严。”灵山卫的设置，对加强山东东部海防，防御倭寇，发挥了重要作用。清乾隆版《诸城县志·大事记》载：“明洪武六年（1374年）甲寅夏六月，倭寇胶州，靖海侯吴祯率沿海各卫兵捕获，俘送京师。”

　　据《灵山卫志·舆地志·沿革》载：“灵山卫建于明洪武五年（1372年），裁于大清雍正十三年（1735年）（十二年十二月裁，十三年春文始到卫）”。卫城先为土城，后几经扩建，颇具规模，且城池整齐。城中分东、西、南、北四街，建有卫署、学宫、经历司、仓廒等。城东有演武场，建有将台、厅堂。城外还有社稷坛、风坛、云坛、雷坛、雨坛、先农坛、城隍庙、玄帝庙、三官庙、三司庙、马神庙、观音阁、福寿寺、朝阳寺等坛、庙、阁、寺，有文林坊、柱史坊等坊表，有通济桥、长平桥、迎鹤桥、小石桥等桥梁建筑。

　　灵山卫依山面海，地势险要。《卫志·形胜》载：“西北众山环抱，东南大海旋绕，灵岛屏列于前，长城（齐长城）带围于后。左二崂，右大珠，山盘路曲，无异鸟道羊肠；控淮口，逼莺游，洪激水深可比龙门、积石。通江淮之运道，胪舳直接幽燕；联吴越之战艘，片帆可达化外。虽仅海上孤城，实为边疆要地”。《卫志·形胜·按》：“登莱濒海要地有三，而胶为最；胶之险不在于胶，而在于胶之唐岛口（在卫南五里）。（唐岛口）岸陡水深，不俟潮汛，舟至即可抵岸。”南宋高宗绍兴三十一年（1161年），浙西副总管李宝败金舟师，降其众三千余人，斩其帅完颜郑家即此地了。

　　卫的建制在当时是相当于州府级的军事机构。按照当时的话说是：“上马管军、下马管民”，其地位非常重要，品级也很高，灵山卫指挥使为正三品职级。不仅各种军事职能齐备，而且民事管理职能也很完善，具备军屯、民屯制度。灵山卫共有军屯三十三个。《卫志·兵防志》云：“烽烟告警，则民可为兵；外侮不作，则兵即为民。国无虚糜之饷，野无不耕之夫”。这个寓兵于农的办法，在当时不仅巩固了国防，而且增加了收入。灵山卫的仓廒就是为了储藏屯田收获的军粮而设置的。

　　灵山卫的建立，不仅保障了山东东南沿海的安全，而且对繁荣本地经济也起到一定作用。《卫志·建置志》载：“洪武以前，灵山一人迹不到之区耳，荆棘充塞，树木丛杂，豺狼之所居，狐狸之所嗥，渔夫樵子时或出没其间，不过一、二深山野人耳。乃忽焉而立为营垒，忽焉而建为城池，阛阓相望，市井嚣繁，俨然一都会矣。”

　　清代倭患平定，卫、所作用逐渐消失，开始缩减卫、所建制。《卫志·兵防志》载：“国朝，世袭指挥官职裁革，改设卫守备一员。雍正十二年（1734年）裁卫守备改设千总，属胶州协。城守马兵八名，步兵五十四名”。后又改设灵山巡检司。至此，灵山卫已等于一般村镇了。此后，灵山卫城逐渐倒塌，今已全部拆除。沿海墩台城堡，有的仅留残迹。

　　灵山卫建有城隍庙。城隍，起源于古代的水（隍）庸（城）的祭祀，为《周宫》八神之一，属于道教之神庙。“城”原指挖土筑的高墙，“隍”原指没有水的护城壕。城隍是自然神，凡有城池者，就建有城隍庙。古人造城是为了保护城内百姓的安全，所以修了高大的城墙、城楼、城门以及壕城、护城河，于是城和隍被神化为城市的保护神。是中国每个城市必有的神庙。

　　今日的灵山卫是灵山卫街道办事处驻地，当地的政治、经济、文化中心。昔日的城池虽不可见，而新型城镇正在崛起，成为黄岛区经济发展重镇。

　　说到灵山卫，不得不提及灵山岛。该岛位于胶南市区东南黄海中，距大陆岸线最近点10.5海里，一名水灵山岛。民国版《增修胶志·疆域·山川》载：“灵山岛，《卫志》：在卫城正南海中……嵌露刻秀，俨如画屏，屹立于巨浸之上。草色山光，翠然夺目，林木茂密，不生毒虫。《类书》引《名胜志》云：“未雨而云，先日而曙，若有灵焉”，故名灵山，岛以山而名。岛南高北低，南多陡坡，北多断崖，东西两面多梯田。岛上山峰多系尖顶，主峰歪头顶海拔513.6米，耸峙南部；次峰望海楼海拔470.6米，雄踞中部；象鼻子山海拔287.9米，屹立北部。三山相连，构成全岛脊背。到南端有地势险要的老虎嘴、马腚山、平顶山，垭脖子以北为小灵山。该岛沟壑纵横，山石嶙峋，削壁如削，小块土地分布于缓坡处。

　　灵山岛为胶州湾和山东东南海域的重要屏障，历来为军事要地。解放战争期间，灵山岛于1947年3月第一次解放，9月再被国民党占领。1949年1月第二次解放，为胶南县灵山岛区，后改设乡、镇。2005年，设立灵山卫街道办事处。

　　灵山岛向以风光旖旎列为古胶州八景之一，被喻为世外桃源。清乾隆版《胶州志·八景》云：“其色四季常青，葱翠欲滴，时与波光相乱。上有居民数十家，鸡犬桑麻，若在世外，览者拟之方壶，员峤、武陵源，犹未足喻其胜。”《胶州志》载，明永乐三年，云南人迁入岛上，居住至今。始来岛者王氏之子，在其祖坟上植的“拔母”树，形若翠伞，杆似鹤颈，皮如鲸鳞，枝同龙爪，至今尚存。岛上居民以鱼为生，从事渔业捕捞，海水养殖，主产鲅鱼、鳓鱼、鲐鱼、小黄鱼、海参、鲍鱼等。