江阁为四层建筑，室外地面(江堤地面)至檐口底高15.9米，至屋面脊顶高约19.5米。该建筑二层平面为杜甫纪念馆，馆正中立杜甫塑像，外墙2.1米高开高窗，实墙上用绘画介绍诗人生平，三层及四层为诗画会所，集名人雅士会诗作画，一层为诗词书画纪念品商店。

建筑立面为中国传统仿唐古建筑形式，朱红色柱，仿古格栅窗，白色墙。柱廊台阶栏杆为云纹石柱、石面板栏杆。屋面歇山顶，远挑檐口，青黑色筒瓦曲线屋面，曲线舒展，体现唐代建筑古朴、雄伟、厚重的基本特征。面向湘江大道及湘江的东、西两立面均为主立面，于屋顶檐口下立横扁，上书“杜甫江阁”四个大字。

杜甫江阁书法碑廊工程位于长沙市西湖桥口湘江风光带，投资100余万元，将于2014年2月竣工，从杜甫在湘时的作品中精选出来的59首诗到时将展现在人们面前。书法碑廊是杜甫江阁的一部分，由全国著名书法家沈鹏、李铎、颜家龙、李立、何满宗等书写。杜甫晚年在湘时的作品约100余首，因其在世59年，为表纪念而只选出59首。

杜甫江阁主楼的文化工程主要围绕杜甫与长沙、杜甫在湘所创作的诗歌以及杜甫对湖湘文化产生的影响而设计，同时注重整体环境布置，以期营造出最佳历史文化氛围，适应不同社会层面的观众，达到融知识性、休闲性于一体的效果。

二楼设计布置为纪念大厅。大厅正面为大型木制浅浮雕《杜工部潇湘行踪图》，展示了杜甫在湖南生活时的行踪，与大厅中央杜甫雕像交相辉映。大厅两侧布置有张大千、林散之等著名书画家的杜诗及诗意画，加之对联、诗画大花瓶、仿古红木大座屏、花架、几案和名贵盆花、盆景等，使整个大厅洋溢着浓郁的文化气息。

三楼专题展示杜甫生平。其中以诗画形式，着重展示杜甫在湘三年的诗作，表现其老病孤舟的生活困境以及忧国忧民的伟大情怀。展览分六个部分：家世、游历、言志、诗史、湘魂、光彩。拟展出图片资料、诗画作品、杜诗版本、实物资料共百余件。

此外，展厅整体风格与江阁建筑风格相似，展墙采用万字格门窗式造型，此种建筑造型语言能有效地把观众带入历史的时空隧道，加之层版设计采用古代线装版本书页的形式，两者结合使古代文化的韵味更浓。既能使参观者在浓郁的唐文化中缅怀诗圣，又使整个展厅简洁明快，疏密有致，轻松舒适。

四楼设计布景为以文会友和精品展示场所，暂名为“集雅轩”。拟分为模型展示、以文会友和观众休息三个小区域，大厅中央摆放江阁模型一座，两侧布置清代红木家具、文房四宝、古玩字画、湘绣奇石精品等。四壁有长沙人文荟萃人物故事组画，讲述屈原、贾谊等历史文化名人故事，以反映长沙深厚的历史文化底蕴。

“诗圣”杜甫晚年在湖南漂泊了两年多，曾在长沙湘江边“江阁”寄居,并是诗人度过的人生最后一段岁月。两年里，杜甫留下百余首诗篇，其中在长沙所作的就有50多首，包括著名的《江南逢李龟年》：“岐王宅里寻常见，崔九堂前几度闻。正是江南好风景，落花时节又逢君。”还有点出“长沙”之名的《发潭州》：“夜醉长沙酒，晓行湘水春。岸花飞送客，樯燕语留人……”这些史诗为湖湘文化添光增彩。