祖莹与陈郡的袁翻声名相同，秀出群伦。当时人们说他们二人“：京城中楚楚动人的才子是袁翻与祖莹，洛阳城风姿翩翩的少年是祖莹与袁翻。”祖莹又迁任尚书三公郎中。

尚书令王肃曾在尚书省吟咏《悲平城诗》“：多么悲壮啊，平城，我策马驰入云中。阴山常被阴霾笼罩，风狂雪猛，荒野的松树梢头，不停地搅动着寒风。”

彭城王元勰读了十分感叹诗的优美，想让王肃再朗诵一遍，却失口说道：“您可否再吟咏一遍《悲彭城诗》?”

王肃因而戏笑元勰说“：为什么读《悲平城》为《悲彭城》呢?”元勰面有愧色。

祖莹坐在旁边，立即说：“《悲彭城》一首诗，王公您没有看见过?”

王肃说“：可为我朗诵吗?”祖莹应声诵道“：可悲叹啊，彭城，幽宛的楚歌四面唱起，将士们的尸体堆满了石梁亭，殷殷的鲜血将睢水染红。”

王肃听完，十分感叹赞赏，元勰也很高兴，归来后对祖莹说：“你一定长着一张神嘴，今天如果不是你，我几乎在王肃这个吴地来的人面前丢丑。”

祖莹任冀州镇东府长史，因收受贿赂的事情暴露，因而被罢官除名。

后来，侍中崔光举荐他任国子博士，仍领尚书左户郎的职衔。

李崇任都督，领兵北讨，让祖莹任长史。又因截取军队物资坐罪，被罢去职务。

不久，任散骑侍郎。孝昌年间，有人在广平王府中掘得一颗古代的玉印，朝廷命祖莹与黄门侍郎李琰之辨认，他说：“这是于阗国王在晋太康时期的贡物。”

便用墨涂在字上印出，果然像他说的那样，当时人们称他为“博物”。

多次迁官，任国子祭酒，兼领给事黄门侍郎、幽州大中正，负责监修起居注的事，又负责议事。

元颢领叛军占据洛阳，任祖莹为殿中尚书。孝庄帝平定叛乱回到洛阳，因他替元颢起草有关尔朱荣罪状的诏书，而获罪免官。

后来，任秘书监，中正的官职仍没有改变。因参与讨论律历，赐爵为容城县子。

又因事犯罪被关押在廷尉的狱中。适逢尔朱兆攻入京城，烧毁了乐署，里面的钟鼓玉磬、笛箫弦管都荡然无存。

朝廷命他与录尚书事长孙承业、侍中元孚重新制造各种乐器，费了三年功夫才完成。

他迁任为车骑大将军。孝武帝即位，他以太常寺官员的身份监行大礼，被封为文安县子。

天平初年，京城将迁至邺城，齐神武帝高欢召请他议论这件事，他因功晋爵为伯。死后，赠尚书左仆射、司徒公。

祖莹以文学见称于世，他常对人说：“文章要自己构思和布局，形成自己的风格，怎么能与别人一起讨生涯呢?”

这话是讥讽世人好剽窃别人的文章为自己所用而说的。

他的文稿也不乏天才之作，但也不是都一样，其中美玉与顽石同在。

他性情豪爽，有气节，读书人有穷困潦倒的来投奔他，他一定给予拯救帮助，人们也因此称赞他。