谈到军衔制的起源，首先应搞清什么是军衔。在我国的汉代以前，"衔"字只有一个"马嚼子"的意思。魏、晋以后，衔字才出现表示官吏阶位的"头衔"的含义。在中国古代汉语里没有军衔这个词语。清朝末年从西方引进军衔制度以后，也没有译作军衔，而是称之为"阶级"、"军官佐士兵等级"、"军阶"。在制度上称其为军衔，则是从我军开始的。概括的说，军衔是国家授予军人以区别其等级地位、权力责任、荣誉待遇的称号和标志。人们一提到军衔，马上就会联想起军队，但军衔的历史要比军队的历史短得多。世界上最早出现军队时，并没有同时产生军衔制。军衔制是军队发展到一定程度的产物。由于军队是进行战争的武装集团，由众多使用武器的人员组成，必须按统一的意志去行动，"服从命令是军队的天职"。因此，在军队编制体制上必须形成若干层次，军人依职权大小分为不同的等级，各级都有担任统一指挥管理的官员，下级绝对服从上级，从而形成由上至下不同的职别等级。
　　历史上一般都以"阶位"来表示各级官员的身份地位，武职官员的阶位称"武阶"。中国早在春秋时期，就出现了"元帅"、"将军"、"校尉"等武职官名。三国时期已开始对武官实行秩品制度。外国最早在公元前7世纪时，已经有了军队官员衔级晋升制度。中世纪的西欧，所谓公、侯、伯、子、男和骑士这些爵号，既是一种封号，也是一种官衔。但是，古代的秩品、官衔同军衔还是有区别的。官衔、秩品仅仅是指各级官吏的衔级、阶位，官衔制也只是官吏的等级体系；而军衔则是把士兵的级别也包括进去，军衔制是上至最高统帅，下至士兵的完整的军人等级体系。
　　军衔制的产生，不是在古代军制完备的中国，而是在十五六世纪的西欧，这有其深刻的历史原因。
　　首先，军衔制与资本主义的萌芽和常备军的产生密切相关。
　　14世纪以前，西欧各国没有常备军。国王把土地封给各级封建主，各级封建主拥有自己的武装。国王打仗时，就征集各封建主的私人武装组成全国军队，打完仗仍各回领地，这是一种非职业军队。随着社会的发展和战争规模的扩大，这种非职业的贵族私人军队，日益暴露出许多弊端。诸如这种军队是临时拼凑的，几乎是一群乌合之众，战斗力较差；国王只能召集直接封臣的军队，而无法调动封臣下级的军队，这样难以统一指挥全国的军队；各级封臣大力豢养自己的军队，形成了封建割据，威胁王权。国王要改变这种状况，就必须建立由国王控制的常备军。
　　14~15世纪，西欧一些国家出现了资本主义萌芽。一方面，新的工商阶级为了保护和发展贸易，需建立常备军以支持强有力的王权，来打破封建割据状态；另一方面，工商阶级为国王提供了税收来源，也就为建立使用常备雇佣军创造了物质条件。法王查理七世在1445年建立了一支由法国人组成的常备雇佣军。到15世纪末，出现了军士、中士军衔，到了16世纪中叶，又出现了元帅、将军、少校、大尉、少尉军衔。西班牙在15世纪末出现了海军上将、上校、少校军衔。
　　其次，军衔制度是资本主义社会关系"等价交换"、"平等权利"等原则在军事领域的反映。
　　西欧常备雇佣军是由新兴资产阶级资助，以自由农民、市民、破产骑士等阶层为主要成份。资本主义社会关系的"等价交换"、"平等权利"等原则反映到军队中，刺激军人们产生了冲破出身门第，按劳绩战功取仕的强烈要求，推动军队逐步建立起一套官衔的高低与功绩大小直接相关的新型等级制度，从而为平民出身的军人晋升提供了基本的权利和平等的机会。而来自非贵族的指挥官，由于没有爵位来表示自己的身份，也没有一种属于个人的称号来保障自己的荣誉、地位和待遇，因此也要求在军队中设立一种与职务相对应的衔级称号。而这些要求也符合新兴资产阶级使用这些阶层的力量共同反对封建领主的政治利益。军衔制度正是为满足这些需要应运而生的。