李香君隐瞒歌伎身份，以吴氏女子妾的身份住进西园翡翠楼。在这里，她与公婆和睦相处;与侯方域元配夫人常氏相敬如宾，姐妹相称;与侯方域鱼水情深，琴瑟和谐。从1645年到1652年这八年时间里，李香君生活得平安、舒适，也可以说是她一生中最为幸福美满的时期。可天有不测风雨，人有旦夕祸福。

就在侯方域去南京为香君求子、寻亲的时候，她经常担惊受怕的身份问题终于暴露了。公公侯恂知道李香君是秦淮歌伎的真实身份后，当即命令李香君滚出翡翠楼，后经人讲情，才心不甘情不愿地让她住到离城十五里的侯氏柴草园——打鸡园。那里是一个前不着村，后不着店的荒凉村落。而此时得知李香君已身怀有孕，引起婆母和常氏夫人的同情，二人一再向侯恂求情，侯恂才勉强答应派一个小丫头去那里服侍。

侯方域回到归德(今商丘)后，即将李香君接回，住在翡翠楼上。因出身低贱，香君被赶到距城7公里的侯氏庄园(今李姬园)居住。李香君因被歧视，终日郁郁寡欢，日久成病，无奈患上肺痨而死，享年三十岁。