张衡从小聪颖过人，对日月星辰特别感兴趣，瞬息万变的大自然奥秘，常常使小张衡入迷，脑子里也装满了提不完的问题，小小年纪提的问题有时连父母和奶奶都答不上来。
有一次，张衡跟着妈妈去挖野菜，太阳刚从东方升起，小张衡发现自己的影子比自己长，可到了中午自己的影子却缩成一团了。从此以后，当他看见自己的影子缩成一团时，就催促妈妈赶快做午饭了。
“平儿他娘，快做饭吧，平儿都饿坏了。”不知原因的奶奶对张衡的母亲说。“才不是呢，平儿怀里有只‘太阳钟’。”张衡的妈妈笑着说。
张衡少年时家境十分贫穷，但父母还是想方设法送儿子到书馆上学。张衡不仅天资聪明，而且读书非常用功。10岁时，他就能够熟读《诗经》，并对其中的天文、历法背得很熟，而且通过阅读其他书籍，理解了文中的意思。
有一次，先生给学生讲《诗经·豳·七月》中的诗句，“七月流火，九月授衣”，先生解释“流火”是指“落下的、一晃而过的大火星”。
学生好奇地问：“‘大火星’是指天上哪一颗星星？”
先生含糊不清地回答道：“就是我们常看到的流星。”张衡却站起来提出了与先生截然不同的解释。他井井有条地说：“先生，那‘流火’是28宿中的萤惑星（即火星），‘流’不是落下的意思；而是萤惑星偏向西向下的意思。”接着，他又根据自己所读过的《史记·天宫书》《淮南子•天方训》等天文书籍，谈起了星宿与北斗星的区别。
他一边用手在空中比画一边说：“‘北斗星’是由天枢、天璇、天玑、天权、玉衡、开阳、摇光七星组成的，随着季节的变化，‘斗身’和‘斗柄’的朝向不同。”
同学们都被他的精彩解说所吸引，一个个听得入了迷。先生也对他刮目相看。
随着年龄的增长，张衡对天文的兴趣越来越浓，有时候所做的事情连妈妈都觉得是在干傻事。他在书中看到，天球是圆的，像一个鸡蛋，天球的周围充满了水，圆圆的地球浮在中间，像蛋黄。这种说法到底对不对呢？张衡脑子里老是想着这个问题。一天，为了搞清楚这个问题，他趁妈妈不在，把一篮子鸡蛋，打在碗里，仔细观察。
由于张衡刻苦学习，勤于思索，善于观察，到了十多岁时，他就初露才华。他不仅擅长绘画，而且能自己制造一些器物，被当地的人誉为“神童”。