天官府看似简陋，其实它的建筑等级非常高，叫五凤楼。封建社会中是皇后居住的。民间则只有名门望族的祠堂在获得皇帝的恩准后才能修建成这种规格，其余皆属违制。这座五凤楼是嘉靖朝的兵部尚书兼吏部尚书汪鋐在替嘉靖皇帝来齐云山办理求子事宜下榻的官邸。嘉靖皇帝二十岁时，因没有子嗣，而求于武当山，然而从公元1526年至1532年，他的后宫宾妃前去武当山十次未果。1532年下半年，在汪鋐的建议下来到齐云山祈嗣，1533年他的一位阎姓贵妃就怀孕生下了大太子朱载基，为此嘉靖皇帝大封群臣，但封到汪鋐时，皇帝犹豫了，身兼两个部长之职，如何在能加官进爵，故而给了一个荣誉称号“天官”，寓意为天子之官，后人因此而悬天官府的匾额于其上。