建武二十年秋，九月裏伏波將軍馬援從交阯班師回京，從交阯帶回一尊高三尺五寸、圍四尺五寸的銅馬，此馬乃用在南方繳獲的駱越銅鼓所鑄，意義非凡。劉秀分外歡喜，將銅馬立於宣德殿下。不出兩月，因烏桓、匈奴屢次犯邊，匈奴甚至頻頻襲擊天水、扶風、上黨各郡縣，不斷滋擾邊塞百姓，馬援再次主動請戰，劉秀恩準。

馬援出發時，劉秀命文武百官送行，據聞當時梁松、竇固二人在其列。

早年因爲內亂，無論從軍隊兵力還是民生國情，剛剛建立的漢朝都不足以應付周邊的少數民族，特別是匈奴。爲此，劉秀採用的仍是忍辱負重的懷柔政策，建武六年，委派歸德侯劉颯出使匈奴，饋贈大量金錢，當時匈奴單于對使者傲慢無禮，劉秀絲毫不動聲色，待之如初。

到了十二年，留守五原的盧芳部下隨昱歸降了漢廷，逼得盧芳捨棄輜重，僅餘十來騎人馬逃入匈奴。盧芳的勢力瓦解雖是好事，卻也在某種程度上造成了北方各郡的漢軍被迫與匈奴正面接觸，兵戎相向。至那以後，匈奴向河東等地大舉入侵，漢軍的守軍根本無力抵擋。

迫於匈奴南犯的強大壓力，劉秀採取的措施是重兵設防，遷徙邊民。

在較短的時間內，劉秀調集了大量的軍隊，在北方各郡構築防線，這條向內地收縮的防禦線貫穿了西河、渭橋、河上、安邑、太遠、井陘、中山、鄴城等地，綿延數千裏當時朝廷正分封功臣，以卸甲收兵權，但杜茂、馬武、朱祜、馬成、王常、王霸等人卻仍駐防在在這道防禦線上，抵擋外敵入侵。因爲國家纔剛剛收復江山，所以重心必須首要放置在恢復經濟生產上面，而漢室兵力有限，實在無力控制廣闊的邊遠地區，爲此劉秀審時度勢，採取退避三舍的防禦戰略，陸續放棄幽州、幷州一部分土地，將那裏的居民遷徙到內地居住。

馬援駐守北方邊境後，曾於建武二十一年秋率三千人主動向烏桓進攻，可惜無所收穫。而遼東郡守祭肜，卻打敗了一萬餘鮮卑騎兵，這一仗直打得鮮卑再不敢靠近邊塞。

這一年的冬天，匈奴再度襲擊了上谷、中山兩郡，馬援率衆誓死抵抗。

就在匈奴和漢頻頻發生摩擦和激戰之際，西域各國卻因爲忍受不了莎車王的騷擾，而紛紛向漢廷求助。

西域位於大漢的西北方，對於漢廷而言，西域距離原本便隔得甚遠，如今爲了應付匈奴，更是放棄了北面的幽州、幷州的一些土地，造成匈奴進一步深入。西域境內的車師前、鄯善、焉耆、精絕、龜茲等十八個小國懼怕被強大的莎車國吞併，於是期盼着中國能伸出援手。他們各自將自己的王子遣送到雒陽充當質子，表示只要中國肯出兵，在西域設置都護府，使得莎車國不敢再在西域稱王稱霸，有妄動之念，那他們便願意從此向中國俯首稱臣。