Lors de la seconde croisade, en 1128, une maison de pèlerins de Jérusalem se constitue en ordre hospitalier pour soigner les pèlerins et croisés allemands. Après la reprise de Jérusalem par Saladin, s'ajoute une fonction militaire. L'ordre reprend l'organisation des Templiers et adopte également la croix sur leur manteau blanc, mais de couleur noire pour se différencier d'eux. L'ordre ne recrute que parmi la noblesse allemande (les Teutons). Après les croisades, l'ordre regagne l'Europe et poursuit son activité en devenant l'un des fers de lance de l'expansion germanique et de la christianisation en Europe. Leur puissance leur a permis de dominer la Prusse et les régions côtières de l'Allemagne actuelle pour entrer ensuite en conflit avec la Pologne ou la Lituanie.
Au début du XVIe siècle, la Réforme divise l'ordre et accélère un affaiblissement déjà enclenché par différentes défaites militaires. L'ordre sera supprimé par Napoléon en 1809 mais continue d'exister en Autriche où il reste aujourd'hui un ordre de chevalerie ecclésiastique.