徽宗宣和五年(公元1123),他正值少壮之年,到南康(今江西星子县)任司录参军。经过蕲(Qí)州,他一个人在雨中登上了五祖山最高处,到了白莲池亭,天也放晴了。他在一块大石上休息,恍恍忽忽好像在梦中,见到一个老和尚。和尚对他说:“您这一去庐山不会遇到太大的苦,只是到了晋州将会有失去孩子的悲痛。这是由于您过去曾在晋州作官,因事拘押了一个民妇,使她失去了自己的儿子,现在是报应呀!”。
赵令衿找了找四周没有人来过的迹象,和尚却就不见了踪影,拘押民妇的事、晋州这些话犹在耳,可是都远在天边,摸不着边。他返回家后对家人说起这件事,大家都感叹诧异。
第2天,他携带家眷从祖山到了黄梅县(今属湖北)。到黄梅县的隔天,天又下雨了,他们一家没有赶路,小儿子善郎却忽然得了急病。黄梅县令吴宇赶到他家,不期然谈起该县的地理历史,说道:“本县在唐朝时曾属于南晋州,现很少有人知道这件事。”赵令衿听到“晋州”心中一惊,知道那和尚的话非假,他担心儿子善郎活不长,就许愿要剃去头发当和尚。
过了四天,善郎还是死在白湖驿站,离黄梅县不过三十多里路,赵令衿亲自记下这件事。
赵令衿虽贵为宋室皇族,但仕途坎坷,曾多次被罢官,二次入狱。因他生性耿直,不甘和当朝奸邪同流合污,言行都和秦桧之辈相违,所以受到秦桧的陷害。秦桧对他恨之入骨,下了密令,要置他于死地。 可是他命不该绝,文书送批之际,秦桧病重不能处理日常事务,他幸免死难。