Zakon Joannitów uważany jest za najstarszy z zakonów rycerskich. Początkowo był bractwem przy szpitalu św. Jana Chrzciciela natomiast w 1113 r. przekształcił się w zakon. Około roku 1120 kilku rycerzu francuskich złożyło przed patriarchą Jerozolimy śluby ubóstwa czystości i posłuszeństwa, według reguły św. Bernarda; przysięgli też walczyć za wiarę. Tak powstał zakon ubogich rycerzy świątyni, czyli Templariusze. Rycerze zakonnicy zobowiązali się bronić pielgrzymów i chronić szlaki pielgrzymkowe.
Z trzecią krucjatą trwającą od roku 1189 do 1192 wiąże się powstanie Zakonu Szpitala Najświętszej Maryi Panny Domu Niemieckiego w Jerozolimie. W trakcie oblężenia Akki, niemieccy rycerze krzyżowi założyli przy szpitalu stowarzyszenie roztaczające opiekę nad rannymi i chorymi. Szpital wkrótce został przejęty przez bractwo szpitalne, zatwierdzone niebawem przez Papieża Klemensa III.
W 1198 roku z bractwa utworzono zakon rycerski, któremu nadano liczne ziemie. Od tej pory dodatkowym obowiązkiem zakonników miała być także walka z niewiernymi. Strojem rycerzy stał się biały płaszcz przekreślony czarnym krzyżem, który odróżniał ich od joannitów noszących czarne okrycia z białym krzyżem maltańskim oraz templariuszy z krzyżem czerwonym.
Po niepowodzeniach krucjaty zakon zaczął podupadać. Regresowi zapobiegł Hermann von Salza- IV Wielki Mistrz urzędujący w latach 1209-1239, faktyczny twórca potęgi zakonu. Drogą działań dyplomatycznych wyjednywał od papieży i cesarzy rzymskich przywileje i dobra, dzięki którym zakon stawał się potęgą ekonomiczną i polityczną. Zdawał sobie sprawę, że zdobycze na terenie Palestyny są nietrwałe i starał się posiąść nowe tereny do założenia państwa zakonnego. Pierwszym celem był Siedmiogród, dokąd król węgierski Andrzej II zaprosił zakon dla obrony swoich wschodnich rubieży przed koczowniczymi plemionami połowców. Kiedy jednak Krzyżacy zechcieli pozbyć się lennego jarzma korony węgierskiej, król Andrzej ich przegnał. Wówczas nadeszło zaproszenie od Konrada Mazowieckiego.