除了無數次地具體預測國事外，李袁二人給後世留下了一部極其神秘難解的緯學奇書。貞觀十七年，唐太宗李世民為推算大唐國運，下令袁天罡和李淳風一起編寫圖書。
於是在兩人的共同努力下，終於在次年完成了曠世奇書《推背圖》，也算是通過圖文並茂的形式為唐太宗解了太白金星的惑。唐太宗看完後，嘖嘖稱讚道："原來如此，原來如此啊！"
也有傳說當時是袁天罡接到命令，他覺得一個人搞不定，便找來了誌同道合的李淳風。
李淳風用周易八卦進行推算，沒想到一算起來就上了癮，一發不可收拾，竟推算到了唐以後中國2000多年的命運。
直到袁天罡推他的背，說道："天機不可再泄，還是回去休息吧"，因此這本預言奇書得名《推背圖》。
還有傳說袁、李是仙女所生的親兄弟，二人非常要好，經常在一起研究天文地理和《周易》八卦。對天、地、人間種種事務進行推算。進而他們想對國家和人類社會的未來發展做一預測，用讖言偈語加圖像暗示。
茫茫天數此中求，世道興衰不自由。
萬萬千千說不盡，不如推背去歸休。
於是李淳風就和袁天罡一起對弈去了，後來人們便把這部預測圖本取名為《推背圖》。
另一種傳說則說袁天罡與李淳風乃是同窗好友，時常聚首論易，談天說地。並在一起背靠背席地而臥、一個寫一個畫，為後人留下一部神奇的預測天書《推背圖》。
還有一個更生動的傳說，袁天罡和李淳風兩個人晚年進入仙界，作名士遊於山水林泉間。一日二人相遇無事，便相背而坐，推古往今來之事。
一人推自天地形成以來的前事，一人推唐以後的國家大事，推一事畫一幅秘象。寫幾句讖言偈語以記。一個專門畫圖，一個專門寫歌，對在一起，分毫不差。
如此數天，天帝怕天機泄露過多，即派陳摶老祖去阻止。陳呼二人："你們測什麽天下大事，且先算我是進是退？"說著一步跨開，目視二位名家。
李袁二人猛然醒悟，即相視而笑，飄然而去。後來，這卷書被山人所得，卻看不懂，於是流傳於世。因最後一象有語雲"萬萬千千說不盡，不如推背去歸休"，所以後人名其為《推背圖》。
《推背圖》共有六十幅圖像，每一幅圖像下麵附有讖語和"頌曰"律詩一首，預言了從唐開始一直到未來世界大同發生在中國曆史上的主要事件。據說其中甚至預言了"太平天國""清兵入關""日本侵華"等曆史事件，因此，被譽為東方千古預言奇書。
因為這部奇書預言了自天地形成以來的萬年國運興衰治亂，所以曆代為世人矚目，爭相揭密。《宋史?藝文誌》正式將此書列入正史，可見當時對這部奇書的重視。
書中的預言融合了周易八卦，晦澀難懂，有的人認為它的準確率高達百分之七十，也有人認為這不過是有人強行將它與現實聯係在一起，牽強附會的進行解釋。
據說，《推背圖》中前四十三象圖均已被曆史證實，其神秘性與準確性令人驚歎而百思莫明。未揭密的十七幅圖象、讖言依然是玄機難測。當然，不管怎樣，這部書當得起"奇書"的評價。這本玄學著作讓兩人的名氣傳誦至今，成為相術測算之術的"必修課"。
因為《推背圖》預言的準確，使曆朝曆代的統治者心驚，一直被列為禁書，而今天我們從網上看到的推背圖，是明代金聖歎評批作注的版本，原本現存於台北故宮博物院中。