陈伯之不识多字，公文书信只能看懂大概意思。大事的裁夺往往取决于身边的心腹。他身边有邓缮、戴永忠、褚緭、朱龙符等重要心腹。朱龙符是陈伯之同乡，任长流参军，仗着陈伯之不明下情，恣意胡行。萧衍得知后，亲笔写信由陈伯之儿子陈虎牙送来，陈述朱龙符罪状。陈伯之认为朱龙符是骁勇健儿，对他不作处罚。

邓缮曾救过陈伯之，任江州别驾，萧衍派人代替邓缮江州别驾职位，陈伯之认为邓缮有功绩不动他的官职，将所派来的人担任治中。褚緭是个品行恶劣的小人，向来有窜掇陈伯之叛梁投魏的打算。陈伯之身边的心腹对萧衍都怀有敌对情绪。邓缮劝说陈伯之叛梁，认为现在国库空虚、东方饥荒，是千载难逢的时机。褚緭、戴永忠等也极力附和。

于是陈伯之召集将吏说：“我接到齐建安王指令，他率江北10万大军已进驻六合(今江苏六合)，命令我们运粮连下，我受齐明帝厚恩，要以死相报!”并把褚绢假造的萧宝夤的书信拿给大家看。众将果然相信，歃血为盟，同心反梁。

武帝命王茂攻讨陈伯之，陈率众攻豫章(今江西南昌)，留下同乡唐盖人守江州。王茂也率军追到豫章。豫章太守郑伯伦坚守，陈伯之攻城不克，王茂前军已赶到，陈表里受敌，大败逃走，与陈虎牙、褚緭等都逃入北魏。魏封他为平南将军、光禄大夫，曲江县侯。

天监四年(公元505年)，武帝派临川王萧宏率军北伐，两军对峙，萧宏命谘议参军、记室丘迟写信招降陈伯之，这就是有名的《与陈伯之书》。书中晓之以利害，告之以危局有“将军鱼游于沸鼎之中，燕巢于飞幕之上”的名句。

动之以乡情，有“暮春三月，江南草长，杂花生树，群莺乱飞”之佳句;而后喻之以大义。感于此书，陈伯之迫于形势，终于带8000兵在寿阳(今安徽寿县)归降。儿子陈虎牙被魏人所杀。武帝封陈伯之为骁骑将军、太中大夫，永新县侯，食邑千户。