吕好问竭力反对潘氏为后，是基于以下两方面原因：“其一潘氏为奸臣之后，此事虽说过去了百年，但奸臣的后人又如何能够成为大宋的国母？其次是王妃邢秉懿，她可是赵构的结发之妻，倘若现在立后，皇上的抗金信心、抗金意志，定遭怀疑，到时，谁来投靠皇上，谁替大宋卖命？”

既然潘氏为奸臣之后，其祖上是谁？又为大宋做了些什么？

潘贤妃的祖上乃是宋太宗、宋真宗时期的太师爷——潘仁美。

潘仁美公元（925——991年）是北宋时期的大奸臣，他公报私仇跟辽帝暗中联系，致使杨继业撞死在苏武庙的李陵碑前，宋朝经这次失败后，从此一蹶不振，控制长城，成为一个不可期待的美梦，直至北宋灭亡。

金枪老令公杨继业，原名杨业，领八千火山军挂帅扫北，掌中一口九环金锋定宋刀，横扫雁门，威震北国。这杨继业每临阵前必举红令字旗为号，军中习称为“金刀令公杨无敌”。令公领兵直攻到辽国都城幽州，逼得辽主天庆梁王耶律尚纳降称臣，从此宋辽两国便以白沟为界南北分疆，暂止兵戈。杨继业因功授爵火山王，位列开国九王之一。一门妻子官封五侯，赐金水河畔清风无佞府，府门头造一座八宝重檐滴水天波楼，楼上供奉着当年太祖爷的玉带和御批金书铁券，铁券记杨门救驾有功，可免杨门子弟九死之罪；又在府前设石碑玉坊，着令满朝文武百官至此必须下马通过。从此天波杨府在东京汴梁城名重誉满。

一个北汉的降将也能享受如此待遇？潘太师心存妒忌，立誓要害死杨业。

杨业死后，潘太师从没放弃对杨业后人的迫害，成为北宋大奸大恶之辈。

到了真宗时期，潘仁美被斩首示众，得到了应有下场。

时过境迁，潘仁美的后代大部分逃出了京城，外地谋生，只有巧云的祖父仍然在汴京城里，救死扶伤、治病救人。

宋徽宗初期，巧云的祖父病逝，父亲潘永寿承袭了祖业，潘永寿聪慧好学，其医术精益求精，擅长治疗疑难病症，尤其善治男女之间因接触而得的怪诞之病。

因显肃、蔡攸背着向太后偷偷地相会，二人正当惊涛骇浪、激情澎湃之时，却被懿肃偶然发现，就这样，显肃失去了部分性腺的再造功能，蔡攸精液回流，周身酸痛。当上了皇后的显肃，派心腹太监灵宝，暗中寻找名医，潘永寿应召进了永宁宫，结果不久便怀上了二皇子赵柽，虽然早夭，但显肃从来没有责怪潘永寿，而是把仇恨记在了懿肃的头上，说是懿肃故意让显肃出糗，目的是要谋求太后对她的格外恩宠。

显肃皇后不但不去埋怨潘永寿，还让皇帝将他拟升为翰林院的医局官。并将潘永寿介绍给了蔡攸。在潘医官的精心治疗下，蔡攸下身疼痛、精液回流现象得到了有效的控制，而当蔡攸是为大宋权臣时，却爱上了貌若天仙的胭脂姑娘，将显肃忘记得一干二净，想想真是让人撕心裂肺、肝肠寸断。

皇九子赵构成年时，显肃力排众议，将大奸臣潘仁美之后潘巧云纳为王妃，成了皇室宗亲。在众多的嫔妃当中只有巧云生下了儿子，而在儿子三岁时，却因叛乱吓死了旉儿，实乃悲乎也！

作为奸臣的后人能成为皇贤妃，高宗众多的嫔妃，只有巧云生下了皇子，从这方面来说潘贤妃是幸运的；然而奸臣之后不能立后，三岁的儿子成了朝廷争权夺利的牺牲品，这也不能不说是潘贤妃的大不幸。所以说潘贤妃就是宋朝廷中幸运和不幸运相结合的复合体。