陈舜俞少从学胡瑗，宋庆历五年（1045年），随父迁居秀州枫泾（奉贤乡九南区）。于庆历六年（1046年）中进士，授天台从事。第二年，因父亲去世，返里服孝。服满后任宣德郎、试大理评事、权雄州防御推官、明州观察推官等职。嘉祐四年（1059年）获制科第一，历任秘书省著作佐郎签书忠正军节度判官、光禄丞签书寿州判官、国子博士知邓州南阳县等职。陈于南阳县任上时曾弃官隐居枫泾白牛村。熙宁三年（1070年）复出，任屯田员外郎知山阴县。时朝廷王安石为相主持变革，推行“青苗法”。陈舜俞上书反对，认为这是“别为一赋以蔽海内，非王道之举”，为此冒犯时相王安石，并受到皇帝的怒责，被贬谪监南康军盐酒税。期间与太傅刘凝之跨双犊邀游庐山。熙宁五年，陈再次弃官隐居枫泾白牛村，跨犊往来于白牛塘上，自号“白牛居士”。熙宁七年，王安石罢相，他复出为官。八年春，王安石再次拜相，他重新遭贬，从此决意不再为官，第三次隐居白牛村，著书立言。熙宁九年（1076年）病逝于白牛村。

陈舜俞一生著有《都官集》 《应制策论》 《庐山纪略》等。苏轼称他“学术才能兼百人之器”。

《都官集》是钦定《四库全书》之一，书中主要有陈舜俞的策论、政说、书函、随记、诗歌等。陈文说论时政居多，大多剀直敷陈、通达事体、切中时弊。蒋之奇《都官集》序曰：“令举之文，大者则以经世务极时变，小者犹足以咏情性畅幽郁，盖其于道如此，而其辞亦不足道也。”是很有见道的评价。《都官集》还有一些篇幅是为部分寺院写的记，例如《海慧院藏经记》 《超果天台教院记》 《布金院经藏记》 《福严禅院记》 《镇国禅院记》 《灵峰殿记》等，这些小记，至今仍为研究宗教文化所难得的资料。《都官集》有诗100多首，多数为陈舜俞谪后所作，气格疏散、直抒胸臆、平直易懂，具有质朴、自然的风格；内容大多反映寄情山水等自然景观，体现了他的豁达态度。

《庐山记》，是陈舜俞在被贬监南康军盐酒税时所写，这是一部在我国文献学术史上具有重要地位的山川之记。《四库全书》史部地理类山川之属仅收七部著作，《庐山记》得以跻身其中，可见其份量。《庐山记》是一部详尽记述庐山的地理环境、名胜古迹的伟大著作，全书八篇五卷。李常在《庐山记》序中以：“泓泉块石，无使遗者，碑刻诗什，莫不毕载。”来说明该书内容的丰富，考证的详实，可谓写尽了庐山的宝藏。四库全书提要云：“此书考据精核，尤非后来《庐山纪胜》诸书所及。”可见评价之高。《庐山记》是一部体现其严谨治学的典范之作。