刘士余1961年11月出生在江苏灌云县一户普通农家,自1987年从清华大学水利工程系水利水电工程专业毕业后,先后在上海市经济体制改革办公室、国家经济体制改革委员会、中国建设银行工作。1996年调入人民银行,在央行的这十八年里,先后历任银行司副司长、银行监管二司司长、央行办公厅主任、央行行长助理、副行长。
2002年,人民银行开始分拆,分拆出的银监会在2003年4月正式成立。之前任银行监管二司司长的刘士余留任,出任人民银行办公厅主任,2004年7月升任行长助理,先后分管金融稳定局、金融市场司、条法司、支付司和部级协调等人民银行的核心部门。
2003年11月,国务院成立了国有商业银行股改领导小组,由时任国务院副总理的黄菊担任领导小组组长,央行行长周小川担任领导小组办公室主任,刘士余任办公室副主任。国有五大银行改革、重组、上市顺利推进。一位金融机构高管曾表示,国有银行改革周小川出战略出思想,刘士余则是重要的执行者。