开城门。韦富只得命令士兵放箭，元军一连攻了十多天，城内的箭用得差不多了。韦富这才知道上了当。

他急忙向那位九十九岁的老人请教，老人又给他献了一计。请一位巧匠在北门的双层门里安装了暗弩。

第二天，当乃刺吾再次向北门攻来时，城上明军故意放过他，把他身后的元兵射退。乃刺吾不知是计，一直冲到城门里，守城明军按动机关，把乃刺吾射倒活捉，元军见骁将被捉，士气大衰，狼狈向北逃跑。韦富命令打开北门率军民从后面追杀，大获全胜。

从此以后，元军残余再也不敢袭扰金州城了，就连土匪强盗也不敢在北门滋事了。清河门安宁了，从此改名永安门。