228年，諸葛亮出兵伐魏，南安、安定、天水三城守將望風而降。此後，在軍事要地街亭的防守中，諸葛亮起用了智謀過人、但缺少實戰經驗的馬謖。結果，馬謖隻知照搬兵書教條，不聽從部下的正確建議，結果戰敗，失了街亭。戰後，諸葛亮揮淚斬馬謖，並且自貶三級。此戰的後果嚴重，不但使蜀國損失了智謀之士，更重要的是，魏國在原本防守空虛的西線部署了更多的兵力，使蜀漢從此失去了奇襲魏地的機會，此後諸葛亮伐魏再也沒有建樹。街亭失守之後，蜀國大傷元氣，再也難以發動大規模的正麵戰爭，由攻勢進入了守勢。諸葛亮心情也極度低落，常常自責：“這一切都是我的錯啊，現在大勢已去了！”更讓諸葛亮擔心的是，損兵折將的蜀軍隨時有可能會被氣勢正盛的魏軍截斷退路，導致全軍覆沒。
為了保存實力、避免更大損失，諸葛亮強忍著痛苦，冷靜地布置撤軍。諸葛亮先把小將關興、張苞叫到帳中，吩咐道：“我現在隻能給你們每人二千人馬，不要求你們殺敵，隻要能拖延、震懾敵人就好。你們埋伏在武功山小路的兩側，一旦魏軍前來襲擊，你們不要迎戰，隻要大聲擊鼓呐喊，嚇退敵軍就算達到目的。之後，你們就取道陽平關，撤兵回國。”關興、張苞領命而去。緊接著，諸葛亮又把張冀叫來，神色嚴肅地說：“我給你些人馬，你率領他們搶修出劍閣通道，一定要快，為大隊人馬撤退做好準備。”張冀鄭重地點點頭，帶領人馬飛奔劍閣通道。這時，諸葛亮的心緒基本平靜下來，他又傳令下去：各路大軍悄悄收拾行裝，即刻撤退。
一切布置停當，諸葛亮長舒了一口氣。他命令駐城守軍整理行裝，準備撤離。正在這時，忽然十幾匹馬飛奔入城，原來是前方負責偵察的士兵回來了。他們帶回來一個致命的消息：魏國司馬懿率領十五萬大軍，已殺向西城，直撲城下。
頓時，城中的大小官員驚慌失措，都嚇得麵無血色。這些留在城中的官員也基本是文官，平時出個謀、劃個策倒也尚可，如今要直麵十五萬大軍，讓他們領軍交戰，實在是難為他們，而且城中的兩千多人馬也都是老弱病殘，沒有什麽戰鬥力。選擇逃跑，顯然也並不明智。因為沿途道路狹窄，唯一的西城大道又被司馬懿占了。而且大軍的行李也很多，車輛卻很少，負荷行軍的話，不出幾裏，就會被司馬懿的大軍趕上。
戰也不是，逃也不成，眾人都處於一片悲戚之中。諸葛亮帶著幾個人登上了城樓往外看，果見西北方向塵土飛揚，鐵蹄聲由遠及近地傳來，震得地麵發顫，魏軍的旗幟已隱約可見。
沉吟片刻，諸葛亮傳令下去：城中所有的旗幟都要藏起來，城中所有的士兵也都要藏起來，不允許一個人亂動亂叫，違令者立斬不赦。似乎覺得這個命令還不夠徹底，諸葛亮再次傳令：城中四個門都要大開，每個門前，都派出20名士兵喬裝成百姓，灑水掃地，做出靜候大軍的姿態。即使魏軍衝到城前，也不能驚慌，一切如故。
眾人都非常驚愕，滿臉疑惑。諸葛亮平靜地說：“諸位不必驚慌，不用懷疑，我已有退敵之計。”說完，他帶著兩個童子又登上城樓，一個童子抱著一張琴、一把寶劍，另一個童子抱著一隻香爐、一把塵尾。立定，諸葛亮讓兩位童子放下琴、爐，他親自彎身點燃了香。然後，諸葛亮倚著樓上的欄杆坐了下來，閉上了眼睛，調理氣息。一會兒，他又慢慢睜開了眼睛，遙望著西北方，雙手輕抬，怡然自得地彈起琴來。琴聲悠揚，如同燃香之煙，似斷還續，嫋嫋而生。
轉眼間，司馬懿的大軍已來到西城下。這次，來的是先鋒部隊，他們顯然是沒見過這種陣勢：欲攻之城居然不設防，而且城門大開，還有人灑水歡迎，樓上還有主帥在悠閑地彈琴。這都把他們弄糊塗了，急忙向主帥司馬懿匯報。
司馬懿聽了，也遲疑起來。他不相信諸葛亮會不領兵迎敵，反而悠閑地在城頭彈琴。於是，他命令軍隊原地待命，自己則帶來少許人馬奔到西城下，默默觀望，以判斷形勢。
果然，諸葛亮端坐在城樓上，似乎沉浸在自己所奏的琴音中。兩名童子立於諸葛亮的兩側，一名童子手捧一把寶劍，另一名童子則拿著一把塵尾。西城門口處，二十幾個“普通”百姓正有條不紊地灑水掃街。
司馬懿凝然思慮良久，也沒看出什麽破綻。其子司馬師忍不住了，高聲說：“父親，別耽誤時機了，諸葛亮在故弄玄虛呢，這分明是一座空城。天賜良機，我們殺入城中，活捉諸葛亮！”將士們也紛紛請求攻城。司馬懿沒有理會他們，隻是搖搖頭，仍然靜靜聆聽。忽然，他緊張起來，神色突變，急忙下令：“集合部隊，馬上撤退。”眾將士不解，納悶出了什麽事情。司馬懿沒有閑情解釋，怒道：“執行軍令，立刻撤退，違令者斬！”三軍將士隻好撤退。
直到遠離了西城，司馬懿才緩過勁來，向眾將解釋：“諸葛亮和我是老對手了，我們倆都深知對方。孔明一生謹慎，從不做沒有把握的事情，現在他把城門打開，讓我們能看出是一座空城。這肯定是個騙局，引誘我軍深入，然後進行殲滅。城裏麵，不知道埋伏了多少我們根本不知道的重兵。”
司馬師接著問：“父親，您剛才一直靜立凝聽，沒有什麽表示，怎麽突然之間，就要撤軍呢？”司馬懿頗有些自得，笑道：“統帥之才，必須善於觀察周遭瞬息變化。我剛才聽諸葛亮彈琴，起先是一派平和，反映出個人性情修養。後來，琴音突然激昂奮力起來，勇猛之氣讓人膽戰，滲透出濃濃殺機，這必是諸葛亮想要下手的表示。我們再不走，就要被他合圍，四麵受敵了。”
一番分析，眾將大多點頭稱是，但仍有半信半疑的。司馬懿大軍仍在前行，正好進入武功山，猛聽得山上殺聲震天，鼓聲動地。眾將大驚，司馬懿說：“幸虧剛才撤退及時，否則，我們早就中計了。”本來武功山的山穀就深，喊殺聲長久在穀中回**，互相應和，似乎漫山遍野都是蜀國士兵。魏軍軍心大亂，急忙丟掉輜重糧草，倉皇而逃。張苞、關興依照諸葛亮的計策，並不追趕，隻是收拾起魏軍留下的糧草，迅速往蜀國方向撤退。
再說城中的諸葛亮，見司馬懿大軍撤去，長籲了一口氣，用手輕拭了額上的冷汗，默默地坐了一會兒。
俄而，諸葛亮淡然一笑，說：“兵法中講‘知彼知己，百戰不殆’。司馬懿確實是了解我的，他知道我一生謹慎，從不冒險。今天，他看到一座空城，就以為我是騙他入城，他反而撤軍而去。其實，我也深知司馬懿的確清楚我的一貫作風，所以也就借用了他的這種心理，布下了這個迷局。我這也是知己知彼才敢這麽做的。若是司馬昭或曹操帶兵，我就不會這麽做了。”眾人無不稱道。
諸葛亮的“空城計”一唱就流傳了千年。守城之時，諸葛亮在“迎敵”和“撤退”都行不通時，大膽開城，索性不設防。雖然冒險，但是他吃透了司馬懿多疑的特點，也深知其對自己非常了解。