在周代，帝王公侯都擁有自己的軍事專家，這些人是世襲的武上，是當時軍隊中的骨幹。周朝後期統治權力解體，這些軍事家喪失了權力和爵位。散落全國，隻求有人雇傭，得以維持生計。他們被稱為“俠”或“遊俠”。《史記》中稱他們：“其言必信，其行必果，已諾必誠，不愛其軀，赴士之厄困。”(《遊俠列傳》)這是他們的武士道德。墨學中，有一大部分便是這種武士道德的延伸。
在中國曆史上，“儒”和“俠”都是依附於貴族的專門人才，他們自己也屬於社會的上層。後來，儒生繼續來自上層或中層階級，俠則更多來自下層階級。在古代，各種典章製度和禮樂都是貴族專用的，在普通百姓眼中，這些典製禮樂都是奢侈的繁文縟節，沒有絲毫用處。墨子和墨家正是以此為出發點，批判傳統典製和對它加以粉飾的孔子與儒家。墨家哲學的內容，主要便是這種批判和對遊俠道德的辯護。
關於墨子和他的追隨者來自遊俠，有許多憑證。從《墨子》一書和當時的其他許多著述中都可以看到，墨家有一個嚴密的組織，足以進行軍事行動。墨家的這種組織的首領稱為“钜子”(“大師”)，對本團體成員，操有生殺大權。墨子就是他的團體的第一位“钜子”。他至少曾有一次，為宋國遭受楚國入侵的威脅而組織防禦。
這段故事的情節很有趣。《墨子·公輸》篇裏記載，當時楚國雇用了一個機械發明家公輸般，發明了一種攻城的武器。楚國將使用這種武器進攻宋國。墨子得訊後，前往楚國，勸阻楚王出兵。在楚王麵前，公輸般演習他準備用以進攻宋國的新式武器，墨子則表演他準備用以防禦楚國進攻的防禦武器。墨子首先解下腰帶，用以劃出一座城，用小木棍標誌武器。公輸般采用了九種攻城機械來進攻，都被墨子的防禦武器擋住了。最後，公輸般的進攻武器都已用盡，而墨子的防禦武器卻還有餘。公輸般不肯認輸，說：“我知道怎樣擊敗你，但是我不說。”墨子回答：“我知道你想用的那個辦法，我也不說!”
楚王問他們，到底是什麽意思?墨子回答說：“公輸般想謀害我。但是，我的弟子禽滑厘等三百人，已經用我設計的武器武裝起來，在宋國城牆上等候著楚國軍隊的進攻。我可以被謀殺，但是楚軍無法殺盡他們。”楚王聽後說：“如此說來，我們就放棄對宋國的進攻。”
如果這段故事屬實，它對今日世界倒是一個好榜樣，兩個敵對國家不必在戰場上廝殺，隻要雙方的科學家、工程師來到一起，把各自實驗室裏的攻擊防禦武器都展示出來，不需要走上戰場，便可以決定勝負了。
無論這段故事是否屬實，它足以說明墨家的軍事性質。還可以再看其他史料如《淮南子》，這是公元前二世紀的著作，其中《泰族訓》篇說：“墨子服役者百八十人，皆可使赴湯蹈刃，死不旋踵。”在《墨子》書中，至少有九處論到防禦戰爭的戰術和武器。這都足以說明，墨家原來是一個武士的組織。
墨子及其追隨者與當時的其他遊俠有兩點不同：首先，其他遊俠隻是雇傭兵，誰雇用，便為誰賣命；墨子和他的追隨者們則反對任何侵略戰爭，他們隻為防禦性戰爭效勞。其次，通常的“俠”隻是墨守武士的職業道德；墨子和他的追隨者則對武士的職業道德進行理性化的解釋。因此，他創立了一個新的哲學流派。