但是抵達預定目的地這件事并沒有讓張騫獲得成就感，反而讓他大失所望。在東亞戰敗遭到淘汰的月氏到了中亞，反而以壓倒性的實力稱王稱霸起來。他們打敗了大夏，占領了富饒的河中地區（Sogdiana，今分屬烏茲別克斯坦，塔吉克斯坦和吉爾吉斯斯坦），生活富足安定，已經是“此間樂，不思蜀”。早已經過上富足生活的大月氏喪失掉復仇之心，再也不肯回到東亞的草原上和匈奴殊死搏殺。因此，張騫在大月氏和大夏地方逗留了一年，努力地想說服月氏與漢帝國結盟夾攻匈奴，但是始終不得其上層人物的要領，不得已之下只能孤身返回。
與來時相比，張騫回國同樣也不是一帆風順。為了避免被匈奴勢力發現，他從南道返回，大體是沿媯水（ 阿姆河）越過蔥嶺（帕米爾高原），抵達莎車和于闐（今新疆南部的莎車縣和和田縣），試圖從這里越過南山（今新疆阿爾金山）從婼羌（今柴達木盆地一帶）回到陽關或玉門關。但是由于當時匈奴勢力龐大，控制羌族，使得張騫在婼羌地區再度被匈奴俘虜。又扣留了一年多，直到軍臣單于死去，匈奴內亂，張騫方才脫身，于元朔三年（公元前126年）年中返回長安。百人出發的使團，最終能夠回到中原的，只有張騫和堂邑父兩人而已。
漢帝國對匈奴的包圍網
雖然，張騫的第一次出使并沒有達成最初的戰略目的：與大月氏聯盟對抗匈奴。但這趟遠征，卻對當時實際上處于被匈奴封鎖狀態的漢帝國來說，有著開天辟地般的意義。在此之前，中原帝國整個在西部的影響力止步于玉門關、臨洮一帶。在此之外的世界到底是怎樣？對此，整個帝國一無所知，完全處于黑暗之中。而張騫以自己的親身經歷，向帝國報告了整個西域的情況。直到此時，帝國才了解到在西部還有一個嶄新的世界：不僅有大宛、康居、大月氏和大夏等諸國，還有側面了解到烏孫、奄蔡、條支、安息等國。根據張騫報告，漢帝國不僅了解了這些國家的位置和城市，甚至連人口、兵力和特產都有了初步了解。
對于漢帝國來說，張騫的報告除了讓帝國第一次睜開雙眼看到外面世界之外，還有一個更重要的驚喜：了解到西域各國的詳情之后，漢帝國上層就立即意識到，自己最大對手匈奴并不是鐵板一塊，其在西域的統治既是其力量的來源，也是它的弱點。西域各國并沒有甘心臣服于匈奴的控制之下，彼此之間也有不滿和矛盾，匈奴在西域的統制，并不是不可撼動的。如果能利用這些因素，將西域納入漢帝國的勢力，直接就能在戰略上形成對匈奴的包圍圈。正如張騫自己所建議和西域大國烏孫結盟：“漢遣公主為夫人，結昆弟……則是斷匈奴右臂也……”。而這個“斬斷右臂”也被漢帝國決策層采納，成為對匈戰爭中一項既定國策。從此開始，漢帝國除了直接和匈奴面對面決戰之外，還積極向西域發展，將自己的影響力拓展進了西域。
憑借著對西域情況的了解，張騫直接參與了元朔六年（公元前123年）二月和四月的對匈作戰。這兩次作戰漢軍統帥為衛青，張騫作為校尉協助，由于其曾被困匈奴十余年，熟知地形，“知水草處，軍得以不乏”，保證了戰爭的勝利，戰后被封為博望侯。兩年后的元狩二年（公元前121年），匈奴渾邪王降漢，戰略要地河西走廊被漢帝國完全控制，匈奴直接的軍事壓力減輕，而通往西域的門戶也第一次向漢帝國完全敞開了。漢武帝立即著手推進西域攻略，再度派遣張騫率領300人、馬600匹、牛羊金帛無數，浩浩蕩蕩地出使西域烏孫，希望能和烏孫結盟。雖然由于烏孫內部動蕩的因素，最終使得張騫的使命沒有達成，但張騫派遣自己的副使分赴大宛、康居、大月氏、安息、身毒、于闐、抒彌（今新疆于田克里雅河東）等國展開外交活動，將漢帝國的影響傳播到了中亞各地。
元鼎二年（公元前115年），烏孫國配備翻譯、向導護送張騫回國，并且派出了回訪的十余名使者——這是第一次西域國家對中原的官方訪問。這些使者見識到了漢朝的強大，在回國之后向烏孫王做了詳細的報告，最終讓烏孫下定決心和漢帝國結盟——張騫倡導的“斬斷右臂”和對匈奴包圍網，最終得以成型。但收效卻要到等幾十年以后的漢宣帝本始二年（公元前72年）：祁連將軍田廣明等五將軍率軍15萬北伐匈奴，而烏孫也出騎兵5萬從西方攻擊，在兩路夾擊之下，匈奴大敗，日漸衰耗，最終一蹶不振。
