祖冲之祖籍河北，他的祖父和父亲都曾在南朝做官，因而他出生于南方. 晋朝末年，由于北方连年混战，中原地区的人口大量迁移到南方，促使长江流域的农业生产和社会经济各方面都有迅速的发展，祖冲之正是诞生在这样的时代环境里.祖家历代对天文历法都很有研究.在家庭的影响下，祖冲之从小便对天文学和数学发生了浓厚的兴趣.

在青年时代，他便对刘歆、张衡、王蕃、刘徽等人的工作进行了深入细致的研究，驳正了他们的错误.以后他继续钻研，在科学技术方面作出极有价值的贡献.精确到小数点后第六位数的圆周率，便是他其中最杰出的成就之一.在天文历法方面，他曾将自古代到他生活年代为止所有可以搜罗到的文献资料，全部整理了一遍，并且通过亲自观测和推算，做了深切的验证.他指出当时所流行的何承天（公元370-447年）编定的历法有许多严重的错误.因此他便开始编制另一种新的历法.

宋大明6年（公元462年），33岁的祖冲之编好了新的历法“大明历”.这是一部最好的历法，但是却遭到了当时朝廷中最得势人物戴法兴的反对.许多官员惧怕戴法兴的势力，不敢对祖冲之新历作公正的评定.祖冲之为了坚持真理，勇敢地与戴法兴展开了辩论，他写了一篇有名的《驳议》，逐条驳斥了戴法兴的无理责难.这场辩论，实际上反映了当时科学发展过程中科学和反科学、进步和保守之间的尖锐斗争.戴法兴等人认为：历代流传下来的东西，都是古制，是不可革的，是“万世不易”的，他们认为天文历法不是“凡人”可以修改的，他们说：“非冲之浅虑妄可穿凿”，甚至进一步责骂祖冲之是“诬天背经”.祖冲之对他们提出了尖锐的反驳.他认为日月五星的运行“非出神怪”，“是有形可检，有数可推”，只要进行细心的观测和推算.孟子早先所说“千年之日至（夏至、冬至）可生而致”的话是完全可以做到的.祖冲之在《驳议》中写了两句非常有名的话“愿闻显据，以覆理实”，“浮词虚贬，窃非所惧”.他希望双方都拿出真实的证据，辨明真正的是非，至于造谣和诽谤，那是他丝毫不怕的.由于种种阻碍，大明历一直到他死后十年，在梁朝才得以颁行（公元510年）.