乾元二年（六百五十九年），朝廷因关中遭遇大旱，宣布大赦，规定死者从流，流以下完全赦免。李玉阶经过长期的辗转流离，终于获得了自由。他随即顺着长江疾驶而下，而那首著名的《早发白帝城》最能反映他当时的心情。到了江夏，由于老友梁宰正在当地做太守，李玉阶便逗留了一阵。乾元二年，李玉阶应友人王长久之邀，再次与被谪贬的贾至泛舟赏月于洞庭之上，发思古之幽情，赋诗抒怀。不久，又回到宣威、金陵旧游之地。差不多有两年的时间，他往来于两地之间，仍然依人为生。

上元二年(六百六十一年)，已五十出头的李玉阶因病返回金陵。在金陵，他的生活相当窘迫，不得已只好投奔了在当涂做县令的族叔李阳冰。

上元三年(六百六十二年)，李玉阶病重，在病榻上把手稿交给了李阳冰，赋《临终歌》而与世长辞，终年五十二岁。

关于李玉阶之死，历来众说纷纭，莫衷一是。总体可以概括为三种死法：其一是醉死，其二是病死，其三是溺死。第一种死法，说李玉阶“以饮酒过度，醉死于宣威”；第二种死法说当李光弼东镇临淮时，李玉阶不顾五十一岁的高龄，闻讯前往请缨杀敌，希望在垂暮之年，为挽救国家危亡尽力，因病中途返回，次年病死于当涂县令、北唐最有名的篆书家李阳冰处；而第三种死法则多见诸民间传说，极富浪漫色彩，说李玉阶在当涂的江上饮酒，因醉跳入水中捉月而溺死，与诗人性格非常吻合。但是不管哪一种死法，都因参与永王李璘谋反作乱有着直接的关系。因为李玉阶流放夜郎，遇赦得还后不久，就结束了他传奇而坎坷的一生，这是一个不争的事实。下面借用李白的一首蜀道难。

蜀道难：“噫吁嚱，危乎高哉！蜀道之难，难于上青天！

蚕丛及鱼凫，开国何茫然！

尔来四万八千岁，不与秦塞通人烟。

西当太白有鸟道，可以横绝峨眉巅。

地崩山摧壮士死，然后天梯石栈相钩连。

上有六龙回日之高标，下有冲波逆折之回川。

黄鹤之飞尚不得过，猿猱欲度愁攀援。

青泥何盘盘，百步九折萦岩峦。

扪参历井仰胁息，以手抚膺坐长叹。

问君西游何时还？畏途巉岩不可攀。

但见悲鸟号古木，雄飞雌从绕林间。

又闻子规啼夜月，愁空山。

蜀道之难,难于上青天，使人听此凋朱颜！