明正德三年春，王陽明經過長途跋涉，終於來到了貴州龍場驛。龍場驛為彝族土司奢香夫人於明洪武年間所設。明洪武十六年，貴州都指揮使馬曄，因為有大漢族主義的偏見，便無端汙辱了貴州宣慰使奢香。
奢香忍辱負重，上京麵見朱元璋，狀告馬曄。朱元璋召回馬曄，將其下獄，並賞賜奢香金銀及絲織品等物。奢香為了報答朱元璋的恩典，自願開山通道給驛使往來。
奢香回到貴州後，一麵宣揚朝廷的威德，使人心安定，一麵履行諾言，親率各部，組織投入巨大的人力物力，披荊斬棘，開辟了以偏橋為中心的兩條驛道，史稱"龍場九驛"。
龍場驛為龍場九驛中的首驛，驛址在離貴陽不遠的龍場，即後來的修文縣城。王陽明到達時，龍場驛已經破敗不堪，加上山中潮濕發黴，根本無法居住。
王陽明感到一陣悲涼，第二天他出去熟悉周圍環境。在驛站南兩裏有一座小孤山，名叫棲霞山，也就是人們常說的龍崗山。他在小山上搭了一間矮小的茅屋作為棲身之所，並寫下了《初至龍場無所止結草庵居之》一詩：
草庵不及肩，旅倦體方適。
開棘自成籬，土階漫無級。
迎風亦蕭疏，漏雨易補緝。
靈瀨響朝湍，深林凝暮色。
群僚環聚訊，語龐意頗質。
鹿豕且同遊，茲類猶人屬。
汙樽映瓦豆，盡醉不知夕。
緬懷黃唐化，略稱茅茨跡。
從詩中可以看出，草屋很矮小、簡陋，附近還有野鹿、野豬。王陽明又在小山上找到了一個洞穴暫時歇息，閑時就研習《易經》，因此他把這個山洞取名為"玩易窩"。
王陽明晚上住在草屋內，草堂應該比當時的杜甫草堂還簡陋。當時龍場老百姓見他住得簡陋，便為他伐木修建屋子。王陽明非常高興，為房子取名何陋軒，出處是《論語》中"君子居之，何陋之有？"
住了半月左右，王陽明在龍場百姓的指點下，又在龍崗山的東部山腰找到了一個大岩洞，洞內前後三通，洞中有洞，裏麵寬敞明亮，可容納百人以上，四壁石乳凝結。
王陽明看了非常喜歡，於是便將自己的住處搬到洞中。因為這個鍾乳洞在驛站的東邊，所以最初叫東洞，後來王陽明又效仿家鄉的陽明洞，把它更名為"陽明小洞天"。
王陽明主仆為了能夠找到這樣的天然住處，無須再費力蓋房子而欣喜。對此，王陽明賦詩《始得東洞遂改為陽明小洞天三首》，以表達自己心中的興奮之情。第二首這樣寫道：
童仆自相語，洞居頗不惡。
人力免結構，天巧謝雕鑿。
清泉傍廚下，翠霧還成幕。
我輩日嬉偃，主人自愉樂。
雖無棨戟榮，且遠塵囂聒。
但恐霜雪凝，雲深衣絮薄。
可以看出，王陽明和家仆都誇讚這天然的住處，並為能夠遠離俗世而感到高興。王陽明還為自己能夠過上遠古時代的生活而欣喜。
王陽明在另一首詩中寫道：
上古處巢窟，杯飲皆汙樽。
冱極陽內伏，石穴多冬暄。
接下來，王陽明又寫道："豹隱文始澤，龍蟄身乃存。"喻指這樣的隱居生活可以保全自己的名節，就像豹子隱藏起來，以防自己的毛皮花紋被雨霧損壞；龍蟄伏起來，以保證自己的身體完好一樣。
也許有人會覺得住在宏偉的宮殿裏，身著輕柔裘皮的生活才算快樂，但是王陽明卻期許顏回那樣的生活。孔子曾經大力誇讚弟子顏回，稱其為："賢哉回也！一簞食，一瓢飲，在陋巷，人不堪其憂，回也不改其樂。賢哉回也！"所以，王陽明又在詩的末尾處寫道："邈矣簞瓢子，此心期與論。"
王陽明每天都在洞中看書，睡覺，冥思苦索，《五經臆說》大概就是在這裏寫成的，他還經常在山中漫無目的地走走。山洞裏很安靜，王陽明的心也靜極了。
"道"究竟在何處？事物的原理在哪裏？天下萬物格得盡嗎？為此，王陽明冥思苦想，殫精竭慮。他讓人打造了一口石棺材，不吃不喝在裏麵躺了三天三夜，除了體會到死的滋味外，其他什麽也沒得到。
有一天晚上，忽然，沉沉的暗夜中透出一絲光亮，他一下子明白了所謂的聖人之道，全在自己的心中。這就是中國哲學史上著名的"龍場悟道"。陽明心學，從此揭開了全新的篇章。
經過大徹大悟的王陽明，發現天下萬物和人生在世是如此這般的美妙，心態一下明亮了起來。當然，精神的突破，並不能直接改變現實生活的困境。
當時的龍場驛的確過於破敗與荒涼，而且由於往來的人少，加上當時驛站並沒有得到朝廷的重視，後來幾年也沒有什麽改變。沒有多久，王陽明他們就沒有糧食吃了。
當時龍場的少數民族也不富裕，王陽明主仆就仿照當地人開荒種地，他們先開了不足一畝的地，種了莊稼。王陽明還寫了一首《謫居絕糧請學於農將田南山永言寄懷》，記述了他當時的境況。詩中說：
山荒聊可田，錢鎛還易辦。
夷俗多火耕，信習亦頗便。
及茲春未深，數畝猶足佃。
從詩中可以看出，王陽明當時帶的銀兩是足夠的，隻是地處蠻荒，購買東西不方便。多次的絕糧，跟他來的仆人王祥、王瑞已經耐不住了，他們請求王陽明開荒種地。
好在荒地有的是，簡易的農具也好置辦，當地人原始的刀耕火種，仿照也不難，當時應該是四月底了，種莊稼還來得及，於是王陽明說幹就幹，開始種地。從中也可以看出王陽明處困不驚、理智冷靜的性格特點。一個出身知識分子的朝廷官員，那樣泰然而樂觀，是非常難得的。
開始種地了，王陽明他們開了一小塊地，但是並不會種，隻好經常請當地人幫忙，幹活結束，在草屋下設酒食請幫忙的鄰居吃飯。王陽明幹活累了，又很高興，喝醉了，忘了和人家打招呼就進屋睡了，第二天還寫了《西園》詩以作記：
方園不盈畝，蔬卉頗成列。
分溪免甕灌，補籬防豕蹢。
蕪草稍焚薙，清雨夜來歇。
濯濯新葉敷，熒熒夜花發。
放鋤息重陰，舊書漫披閱。
倦枕竹下石，醒望鬆間月。
起來步閑謠，晚酌簷下設。
酣時藉草眠，忘與鄰翁別。
王陽明喜歡喝酒，而且經常喝醉，或者說喜歡喝盡興。在他的西園裏，還種了許多草藥和花卉。他一向體弱多病，在當時的醫療條件有限的情況下，種些草藥，按照書上的方子自己煎熬藥湯是必要的。他從京城來到邊陲，一路風餐露宿，到達後又有一個適應的過程，會犯肺病、胃病或腸炎之類的疾病。
從"臥病空山無藥石，相傳土俗事神巫。吾行久矣將焉禱？眾議紛然反見迂。""地無醫藥憑書卷，身處蠻夷亦故山。""野夫病臥成疏懶，書卷長拋舊學荒。""病夫已久逃方外，不受人間禮數嗔。"等詩句可以看出王陽明確實是經常生病。
龍場鄉民見王陽明經常生病，出於關心，提議幫他請巫師。對於巫術王陽明並不陌生，那都是些蒙昧無知的自我麻醉，有的甚至是自欺欺人。龍場鄉民出於好心，但他當然不會接受。
莊稼長起來了，王陽明對田間的一切都很陌生也很感興趣，還寫了《觀稼》詩：
下田既宜稌，高田亦宜稷。
種蔬須土疏，種蕷須土濕。
寒多不實秀，暑多有螟螣。
去草不厭頻，耘禾不厭密。
物理既可玩，化機還默識。
即是參讚功，毋為輕稼穡！
這些都是農村人盡皆知曉的道理，王陽明很好奇地寫入了詩中。
進入了夏天，王陽明經常在山中懶睡，有時幹農活困了就在竹林邊的石頭上睡覺、看書，倒也清閑。他對自己的山洞特別滿意，於是在詩中寫道：
鬆風不用蒲葵扇，坐對青崖百丈泉。
古洞幽深絕世人，石床風細不生塵。
在龍場驛，王陽明經常吟詩詠歌，撫琴吹簫，招來許多苗裔兒童環聚而聽，他便授之以琴技。後來，他又在陽明小洞天擺上桌椅教苗裔兒童習字。
王陽明從京城而來，而且是一個有大學問的人，因此很快引起周圍上百裏的讀書人注意，他們就趕來求學。當地苗彝鄉民也紛紛把自己的孩子送來請王陽明教他們識字。
學生及家長們不忍王陽明居住在陰暗潮濕的石洞裏，自動砍樹伐木，為王陽明構築了幾幢木屋。二十多天後，房屋建好，請他移住新居。
王陽明開始隻是以為大家幫他搭了一個能遮風擋雨的屋子，沒想到建得如此美觀大方，布局得當，進出有致，因此十分感動，專門寫詩以記其事。
為了答謝龍場百姓的幫助，王陽明正式授徒講學。在學生們的建議下，王陽明把這裏命名為"龍崗書院"。
有了新居，王陽明無比欣喜，何況還有廬有軒頗自成趣，坐落在小山岡上從中仰望遠處山峰，深樹映入門窗，俯視近處村寨，竹木叢翠交錯，真是美不勝收了。臨側還辟有小園，趁著晚春趕種了菜蔬和花藥，更是難得。
當年秋天，王陽明在寫給學生們的詩中，有"不記西園日，桃花夾川路？"的話，可見農曆三月已經開始講學了。這房子蓋了將近一月，說明王陽明在玩易窩和陽明洞居住不過兩個月。