元至正二十四年正月，就是1364年，在李善長、徐達等人的勸進聲中，朱元璋即位為吳王，任命李善長為左相國，徐達為右相國，劉基為太史令。
劉基精通天文知識，在任太史令後，曾以元代《授時曆》為基礎修訂曆法，製定了《大統曆》，並且在朱元璋當上皇帝的第一年頒行，成為明朝一代曆法，因為這年為戊申年，所以被稱為《戊申大統曆》。
至正二十八年，就是1368年，朱元璋稱帝正式建立明朝，改元洪武，定都南京。李善長、徐達由相國改任左右丞相，劉基被任命為禦史中丞兼太史令。在朱元璋登基大典上，太史令劉基代替大明皇帝宣讀祝文；在策封勳臣時，劉基奉冊寶宣布皇帝命令。
龍鳳年間，朱元璋軍隊不斷增多，編製極不統一，將校稱呼也很混亂。朱元璋稱吳王後，曾經下令按指揮、千戶、百戶、總旗、小旗統編軍隊，戰鬥力因此大為增強。
洪武元年，就是1368年，在此基礎上劉基又奏立"軍衛法"，即在軍事重要的地方設衛，次要的地方設所，"自京師達於郡縣皆立衛所"，大約每5600人為一衛，長官稱指揮使；1120人為一千戶所，長官稱千戶；千戶所下設百戶所，設總旗、小旗，以都指揮使司為地方上的最高軍事機構；以大都督府為中央最高軍事機構。因此加強和鞏固了明朝封建皇權的統治。
經過幾十年群雄角逐的戰亂，生民塗炭，國家凋蔽，百姓困頓，急需休養生息。為了迅速安撫民心，朱元璋又向劉基詢問為政治平之道。劉基說："霜雪之後，必有陽春。如今國威已經樹立，宜漸漸濟之以寬大。因為生民之道，在於仁愛，在於以仁心行仁政。宋元以來，法製名存實亡，寬縱日久。現今應當首先整頓綱紀，頒示法典，然後仁政才可付諸實施。"
劉基用傳統的儒家"仁政"思想作為治世的根本。他認為治世安民應該德政刑法並用，而以德治為主。首先反對暴虐凶殘，對百姓要有仁愛之心；同時認為德政需有嚴明的法紀為保障，使用刑法的目的是不用刑法。有法必依，執法務嚴，使人有所畏懼，以確立必要的封建統治秩序。
他在理論上如此闡述，又在實踐中如此實施。他幫助朱元璋審理開釋了一批積年未決的冤案，給這些人平反昭雪。
有一次，太祖由於晚上作了一個夢而要借夢殺人，劉基問明原因後說："刑，威令也，其法止於殺，而生人之道存焉。皇上晚上的那個夢，是國家將得士得眾的征兆，應該停刑以待。"
劉基借說夢而製止太祖濫殺無辜。說來也巧，三日後，海寧宣布歸降朱元璋。太祖聞訊後大喜，認為劉基的招數真靈驗。從此以後，太祖將重大囚犯都交由劉基審理，劉基盡量從寬處理，以籠絡、安定民心。
另一方麵，他請求振肅法紀，立法定製，既製止縱罪，又嚴禁亂捕濫殺。朱元璋下令實施他的提議。很快，劉基擬定明律令，成了明朝後來立法的基本依據。洪武三十年所頒布的《大明律》就是在它的基礎上修訂完善的。
洪武元年廈曆四月，就算136年，在北伐中原獲得占領山東、河南的勝利之後，朱元璋由應天（南京）去汴梁（開封），會見北伐諸將，研究戰局和部署攻下元大都的步驟，留劉基和李善長做南京留守。
劉基這時的官職是禦史中丞，是禦史台的佐貳長官，帶著監察禦史糾劾各級官吏中的非法違禁行為。劉基認為宋、元兩朝末期，由於綱紀不嚴以致丟失天下，因此，要求各禦史官對違禁行為，要仔細查處，不管犯禁的人權勢多大、官職多高。
那些宿衛朝廷的宦侍近臣如果犯法，他總是先報告皇太子然後繩之以法。他的嚴格執法令眾臣屬謹小慎微。恰在這時，李善長的親信，中書省都事李彬犯法當斬，李善長出麵為他求情通融，劉基鐵麵無私，冒著風險，沒有理睬李善長的說情。由於事關重大，劉基按照正常規定向朱元璋做了書麵報告，等批準後馬上就把李彬殺了。但是，這件事卻帶來了李善長的嫉妒。
李善長原是朱元璋舉事不久收用的幕府書記，朱元璋稱吳王時的左相國，稱帝後的左丞相，在朝廷中一直位列第一。殺李彬後，李善長蓄意報複。
閏七月，當朱元璋從開封回到南京時，李善長便極力中傷劉基。這年天旱，說劉基在祈雨壇下殺李彬，是對上天的大不恭敬，以致天怒，祈雨不靈，另外一些對劉基心存怨恨的人也紛紛落井下石，說劉基的壞話。
朱元璋按迷信說法察糾天旱原因。問到劉基時，他對朱元璋說："長期征戰，將士死亡眾多，他們的妻子家屬或別葬，或寡居，沒有什麽撫恤和照顧，幾萬人陰氣鬱結，怨氣衝天，此其一；大批工匠死後留骸暴露野外，無人掩埋，此其二；江浙官吏投降的人都編人軍戶，讓他們一家人世代充軍，住在固定的衛所，足幹和氣，此其三。有此三條，人怨天怒，以致不雨，懇請陛下善為處理。"
朱元璋采納了劉基的意見，采取了一些應急措施。但是十幾天過去了，天仍然沒有下雨，朱元璋生氣了。在此情況下，劉基感到十分尷尬，正好他的妻子在這時去世，劉基便以處理妻喪為借口告老回家了。