中国早在春秋和战国时期，人们在寻找铁矿时就发现了磁铁，并知道了它们所具有的特殊性质。战国时期，人们开始利用磁铁制造指示方向的工具——司南。司南被制成勺状，使用时将它放置在一个光滑、水平的底盘中间，用手拨动它的柄，使其转动；当它停止时，勺柄就指向南方，勺口则指向北方。
北宋初期，人们发现了人工磁化法，用天然磁石磨擦钢针，制出磁针。这种经过磁化了的钢针就被正式叫做指南针了（由于磁针轴受地球磁极的影响，而且地磁轴与地球自转轴有个11度多的交角，磁针所指示的南北方向实际上是地球磁极的南北方向）。指南针的制作方法各种各样，有的把磁浮在水上，有的放在碗沿，有的放在指甲上，有的用线悬在空中。但较为精确的指南针，是把磁针装在刻有方位的罗盘上，所以，指南针又叫做罗盘针。
宋朝以及后来的海船上，都装有指南针。12世纪末，指南针经由阿拉伯人传到欧洲，为后来欧洲航海家开辟新航路提供了重要条件。
