回頭說到孫堅死後，黃蓋繼續服事孫策和孫權，在各項大小戰役中總是能見到黃蓋身披鎧甲、與敵追逐交戰，冒著生命的危險、一馬當先攻入城池[8]。

　　建安五年（公元200），孫策遇刺身亡，孫權繼位，為了進一步壯大實力，但又忌憚於長江以北有袁紹、曹操，西面則有劉表、黃祖，只得轉向東邊南面山區擴展領地，於是和當地依然過著村社生活、時人稱之為「山越」的土著居民發生了衝突。

　　早在秦、漢以前，對於分布在長江中下游以南的少數民族，籠統稱作南越或南粵，但因其部落眾多，故又有百越、百粵之稱，秦漢以後這些越人便逐漸與漢人融合。至於東漢末年時被稱作山越的山地住民，其聚居範圍，按王仲犖先生考據，在「今皖南歙、黟、休寧等縣，浙江淳安、遂安等縣，江西德興、上饒、永修等縣，福建崇安、建陽等縣，周圍數千里，山谷萬里」之地（《魏晉南北朝史‧第一章第四節》臺灣【漢京文化】），由於其傳統氏族意識保留得相當完整，因此發展出以「宗」為骨幹的軍事組織，將領從上到下稱之為「宗帥」、「宗部」、「宗伍」，統稱為「宗民」，官方則稱作「宗賊」。

　　孫權執政之初，便想方設法奪取山越村社的土地，並使這些山民土著成為孫吳政權屯田土地上的隸屬佃戶，強制他們給政府耕田當兵。由此當然激起了各個山越部落的強烈反抗，有些甚至還進犯到東吳統治下的縣城，凡是有山越侵擾之縣，便以黃蓋為巡守長官。

　　黃蓋的初次任務為出任石城縣守長（故治在今安徽馬鞍山市東南），到任後發現當地縣府衙吏非常刁滑、難以約束統御，於是想出一個辦法，在自己手下另外增設了兩個掾屬僚吏（等同於副手），分別管理縣府各個部門。然後貼出公告：

　　令長不德（令長，縣令、縣長之意，指黃蓋自己；不德，沒有才德，乃自謙之詞），不過是憑藉著過去立下的一點戰功才能來到這裏擔任縣官，處理政事的文職工作並非是我這種武夫的強項。然而於今山越作亂、賊寇未平，本府尚有戍防軍務急待處理，因此將文書方面的公務交予特設的兩名掾吏全權負責，二掾自當管束督導各單位，並適時糾舉彈劾屬吏們的錯誤。凡兩掾代理本府承辦的公事以及簽發的公文[9]，其中若有怠忽欺瞞者，本府也不會以鞭刑責罰，期盼諸君各自盡心把事辦好，不要讓我開了先例才是。

　　佈告貼出初期，人人畏懼於黃蓋「新官上任三把火」之威，無不是從早到晚用心辦公；然而日子久了，職吏們以為黃蓋都不來查看公文行事，也就逐漸鬆懈下來，接受請託說情，進而徇私舞弊[10]。此時黃蓋也開始懷疑外頭有人怠慢公職，不時派人暗中探查[11]，前後查出數起兩掾主管違法亂紀之事實。於是召集縣府所有單位官吏，設宴賜與酒食，然後拿出不法事證，逐條詰問二掾吏，二吏百口莫辯，雙雙跪倒在地，當場磕頭謝罪。只見黃蓋臉色一凜，說道：“之前和大家約定，不用鞭笞之刑責打，可不是說來唬人的。”即教劊子手將兩名掾吏牽出斬首。此事傳開，縣中上下、無論軍吏百姓，莫不震慄。

　　黃蓋後來又轉任春穀縣長（故治在今安徽繁昌西北之長江南岸）、尋陽縣令（故治在今湖北黃梅西南）。一共巡守了九個縣，所到之處無不治理平定。因整治諸縣有功，孫權乃加封武職，讓黃蓋繼在程普之後，升任為丹楊都尉[12]。

　　史書稱黃蓋歷任九縣「守長」，所謂守長，通常指的是郡守與縣長的合稱，然而此處並不屬於這個範疇。自西漢時，官吏任職必須先試職一年，在試用期間不領全俸，直到期滿轉正之後，始得領有完整俸祿，三國時，魏、吳軍有沿襲施行官吏試職制，這項制度有個正式稱呼，即喚作「守」。黃蓋擔任的職務，形式有點類似，但性質不同。查《尚書‧舜典》載：「歲二月東巡守，至于岱宗，柴。」孔安國傳曰：「諸侯為天子守土，故稱守，巡行之。」守亦作狩，《左傳‧莊公二十一年》：「王巡虢守」，孔穎達疏曰：「王巡視虢公所守之土地也。」由此理解黃蓋的守長性質，也就可以看作帶有替孫氏政權防守邊土的意思；另外，根據《資治通鑑‧漢紀二十四‧成帝綏和元年》：「使執金吾任宏守大鴻臚，持節徵定陶王。」胡三省所注：「守者，權守也」的說法，守也可作權攝、暫且代理行使職務解釋；再加上守本來有防守、守衛之意，綜合起來，黃蓋所任的守長，即是以武官暫時攝理縣府職事，雖掌有軍政二權，但主要工作還是在軍事防禦上頭，解決山越不服、侵擾縣境為第一要務，多少有點以軍領政的意思。東吳官制，常有因事制宜、因地設置的臨時職銜，此處便是一例。

　　黃蓋初到石城，既要帶兵巡邏縣境，還得治理縣衙公務，繼而又發現當地縣吏對於自己這個外任主官總是人前唯諾、人後敷衍，政事根本推動不起來，倘若事事皆要自己親力親為、下到各個角落一一監督，豈不活活累死？因此才想出個「以夷制夷」之方，用地頭蛇來管理其他眾蛇，初期果然收到成效，但由此空出手來的黃蓋也才能在後來揪出這些縣府衙吏的不法情事，接著殺一儆百，起到震懾的作用。

　　說到「諸山越不賓」，不服從江東政權的統治，主要原由還是來自於土地糾紛。剛開始時，可能還是邊境之爭，然而隨著漢人不斷移入，縣境逐漸擴大，這境外、或邊境之爭很可能也就成了縣府轄境之內的紛爭。漢越雜處，間有摩擦自屬難免，可是一旦政府官員站在同為漢人的立場而對漢人有所偏袒時，衝突便會加劇並且擴大，其中尤以漢官憑藉政治優勢欺凌少數民族為甚。而黃蓋查出的石城掾吏之不法事證，極有可能便含有這些漢官欺壓越民、從中取利或是收取賄賂、給予漢人有利判決的不公事件，所以將這兩名掾吏斬首示眾、以儆效尤，即是黃蓋公開向漢越縣民宣示自己的秉公執政決心。因此史家稱黃蓋「抑彊扶弱」而「山越懷附」：打擊豪強、扶助弱小，從不論對方是漢人還是越民，由此而得到山越村社的感恩義懷德，紛紛依附到了黃蓋的治理之下，漢越之間的武裝衝突也逐漸少了很多。這便是黃蓋「凡守九縣，所在平定」的最大原因。

　　史籍記載，黃蓋生得相貌堂堂、一臉正氣，表情嚴肅，一看便知是個性格剛毅、嚴於律己之人──在東吳群臣中，可稱得上是武將版的張昭了。黃蓋治軍雖嚴，但對部下也是十分照顧，因此能得士卒死力；每當黃蓋率軍出戰征討，眾人無不奮勇爭先、唯恐落於主將之後。