因而并未批准杨仆的请求，只是命令路博德率军驻守南越，安抚当地百姓，其余各路兵马则北上驻军于豫章郡的梅岭（今江西宁都县）一带休整待命，并试探闽越国的反应。

汉朝方面虽然并未打算攻打闽越国，东越王馀善自己却坐不住了，他听说杨仆上书请求征讨自己，又见汉军平定南越后并未撤走，而是留在了闽越边境地带的梅岭，便做贼心虚的认为汉军这是打算休整之后，便要进攻自己，于是决定先下手为强，趁着汉军疲惫之机抢先发动进攻。

当初，汉武帝在平定闽越王邹郢之乱后，将闽越国一分为二，分设越繇王和东越王统治，本是为了让两人互相牵制，然而东越王馀善凭借着杀死闽越王邹郢之功，声望遍布全国，越繇王繇君丑根本无法对其形成牵制。后来，繇君丑去世，其子繇君居股承袭其位，更加无力牵制馀善，馀善遂掌握闽越国政。

元鼎六年（前111年）秋，馀善私刻“武帝”印玺，自立为东越武帝，公然反叛汉朝，派兵据守通汉要道，并赐将军驺力为“吞汉将军”，命其率军攻入白沙（今浙江绍兴）、武林（今江西鄱阳）和梅岭地区，袭杀了汉军三名校尉，汉军守将张成和刘齿未敢出击，率兵退守安全地带。

汉武帝接到奏报大怒，以畏敌罪将张成和刘齿处死，随后调集四路大军攻打闽越，其中第一路由楼船将军杨仆率领，从武林出发，由崇安分水岭进军；第二路由横海将军韩说率领，从句章（今浙江余姚东南）出发，乘船渡海从闽越东部沿海登陆；第三路由中尉王温舒率领，从梅岭出发，由闽越西部进军；第四路由戈船将军郑严、下历将军田甲率领，从若邪（今浙江绍兴东南）、白沙出发，进攻闽越东北部。

为了应对汉军进攻，馀善分兵在今天的邵武、建阳、浦城、崇安一带筑城防守，自己则统兵据守今浦城县北的泉山进行顽抗。

元封元年（前111年）冬，杨仆率军击败镇守武林的闽越军队，斩杀守将徇北将军，其他各路大军水陆并进，纷纷攻入闽越境内。

留居汉地的越衍侯吴阳奉命返回闽越，劝说馀善放弃抵抗，被馀善拒绝后，吴阳便率本邑兵七百人攻占汉阳城（今福建浦城县北），馀善腹背受敌，不得不放弃天险泉山，撤退到冶都（今福建福州）。

面对汉军大军压境，闽越军队抵抗之心全无，纷纷临阵倒戈，繇君居股见大势已去，在横海将军韩说率兵自海上登陆后，遂决定效仿当年馀善诛杀邹郢降汉之事，与建成侯敖和越衍侯吴阳联手发动政变，杀死馀善后向韩说投降，闽越遂被平定。

战后，韩说因功获封按道侯；繇君居股因功获封东成侯；郑严虽然平定闽越有功，但因此前平定南越时作战不力，故功过相抵未被加封；王温舒虽然有功，但因平定东越归来后，议事不合天子的旨意，非但没有获赏，反而因犯法被判罪免官。

平定闽越后，汉武帝鉴于闽越狭小而多险阻之地，民众强悍，屡次反复无常。于是命令汉军将闽越民众全部迁徙到江淮一带居住。至此，闽越灭亡，国土虽被纳入会稽郡，但因百姓被迁走，国境成为空虚之地，直至二十五年后，逃遁山林的少数越人出来聚居，才成立冶县。

从元鼎四年（前112年）至元封元年（前110年），汉军历经两年征战，先后平定南越和东越。自此以后，汉朝东南边境再无威胁。