宋端宗赵昰的陵墓传说位于海滨乱山之中。宋末行朝驻崖山是时间最久的一站，帝昰四月中逝世后，直到九月初一才下葬，建造永福陵有较宽松的时间，不像后来建杨太后陵那样仓猝、“莫辨其地”，还以观文殿大学士曾渊子任山陵使，可见准备工作是认真、有序的，野史的这种说法显然不符合当时情况。

有怀疑在崖山奇石海面相对的一边，即崖门镇旧石屋村。因这里有大石崛起覆盖似屋形而称村名，属三家（嘉）村即三村区域内，村后来荒废。该村不远的山上有一块横放的巨石，后面又一块大石凿有颜鲁体行书“宝安黄石来”5个大字，“来”字剥落又似“台”字。

有人认为当时这里人迹不到，大石看似坟穴形，石刻难度大，内容不可解，怀疑是陵墓的暗记，符合野史所说的“葬于海滨乱山之中”，直至建国后仍有人提这种观点。一些旧史说葬在“寿星塘”。“寿星塘”在什么地方？有的说在中山，但清代《广东新语》明确说“新会寿星塘”。

据《崖山志》、《广东新语》等记载，相传旧时寿星塘有陵迹5处，显然是疑陵，是对真陵的一种保护措施。由于元朝统治者残酷杀戮，宋遗民、崖山民众当时为保护皇陵和保存个人性命，都不愿说出真迹的所在。因此，永福陵的具体位置后来渐无人知晓了。

据宋末流亡朝廷随驾大臣、目击者邓光荐所著《填海录》记载，永福陵在崖山，其可信性是无可置疑的。历史上所指的崖山是在海中的整个崖山岛，包括今天的古井、沙堆镇除了后来冲积成陆部分以外的全部地方，这里山势连绵，有牛牯岭山、大岭山等，因此，如寻找永福陵应从整个大崖山去找，而不应局限于崖山祠所在的小山，因为它仅是狭义崖山，有史籍称为“崖山之西山”。