刘秉忠生于1216年，比忽必烈仅小一岁。当时的北中国，由辽、金两朝的统治已经超过了两百年，刘秉忠的父亲和爷爷，都曾经是金国的官吏。由于家庭有入仕的传统，十七岁的时候时候，刘秉忠也曾进入当局的下级机构做刀笔小吏，算起来这一年该是1233年，而金国被灭也在这一两年间，而此前数年华北地区早已经兵戈不断，可见刘秉忠刚刚参加工作，就是在蒙古国的行政序列中，只不过象他这样下级的文官，实在无须对局势负什么责任，专业技术人才，不管怎么改朝换代朝廷都是需要依靠的。
然而，刘秉忠这个人看来不是凡品，不久以后，他因为不甘心于这份下级文吏的工作，终于弃职到武安山出家为僧了，这时候他的名字叫做“子聪”。
1247年，三十岁的僧人子聪，游历云中（今山西大同一带），因为海云举荐，他被忽必烈招进了幕府，从此深得忽必烈的器重。他们曾经在一起讨论过“马上得天下，不可以马上治之”等高深的政治理论问题，忽必烈非常喜欢让这些有学问的汉臣给他讲历史掌故，最喜欢听的是讲唐太宗等帝王的治国故事。
1251年，忽必烈的亲哥哥蒙哥做了大汗，忽必烈得到了施展抱负的机会。于是指派忽必烈主管漠南汉族地区的军国事务，“尽属以漠南汉地军国庶事”，可谓所用得人。
忽必烈，经过一系列的内斗外斗，终于在公元1260年，得到了蒙古大汗的位置，七年以后，忽必烈迁都“大都”城，也就是今天的北京城。
追随忽必烈十余年以后，刘秉忠奉命还俗。公元1271年的旧历十一月，由刘秉忠领衔，几位大臣给忽必烈上了呈文，呈文说：“元正、朝会、圣节、诏赦及百官宣敕，具公服迎拜行礼。”就是说按照忽必烈认可的方案，改国号行朝仪的一系列策划工作已经完成了，忽必烈非常高兴，批准了他们的方案，正式建国号为“大元”。为此，朝廷下了一道诏书，公告天下。
诏曰：
诞膺景命，奄四海以宅尊；必有美名，绍百王而继统。肇从隆古，匪独我家。且唐之为言荡也，尧以之而著称；虞之为言乐也，舜因之而作号。驯至禹兴而汤造，互名夏大以殷中。世降以还，事殊非古。虽乘时而有国，不以义而制称。为秦为汉者，著从初起之地名；曰隋曰唐者，因即所封之爵邑。是皆徇百姓见闻之狃习，要一时经制之权宜，概以至公，不无少贬。
我太祖圣武皇帝，握乾符而起朔土，以神武而膺帝图，四震天声，大恢土宇，舆图之广，历古所无。顷者，耆宿诣庭，奏章申请，谓既成于大业，宜早定于鸿名。在古制以当然，于朕心乎何有。可建国号曰大元，盖取《易经》“乾元”之义。兹大冶流形于庶品，孰名资始之功；予一人底宁于万邦，尤切体仁之要。事从因革，道协天人。于戏！称义而名，固匪为之溢美；孚休惟永，尚不负于投艰。嘉与敷天，共隆大号。
他有一个学生很有名：郭守敬，是刘秉忠的得意门生。