唐伯虎虽然给了丘养浩面子，加上他自己也的确想做官，所以就愿意接受丘养浩的举荐，成为苏州教材编纂官的官员。
但杨廉却驳了王守仁的面子，婉拒了王守仁让他起复为苏州教材编纂官的邀请。
因为杨廉之所以在礼部侍郎职上就致仕，就是因为他对做官没有兴趣，同时也对现今的朝廷也或多或少有些不满，不然也不会这么快就辞官致仕。
于是。
丘养浩不得不按照朱厚照的指示指使自己信得过的言官弹劾杨廉。
然后，杨廉就被朱厚照一道御批圣旨给取消了致仕待遇，且被革为民，流放到苏州城修路。
杨廉接到这道旨意后心情可想而知。
本来他是想回乡当一个免费领朝廷俸禄，还生活自由自在又奢靡的乡绅大老爷的，但他没想到，就因为他拒绝了王守仁的邀请，就落得个被革为民，失去士大夫待遇，还要流放的下场。
杨廉的家人为此是哭得肝肠寸断。
杨廉自己也不由得大骂王守仁阴狠。
但骂归骂，杨廉也知道朝廷的旨令是不能违背的，于是，他只能接受被流放的命运，以一个囚犯的身份，戴着枷锁镣铐来了苏州。
丘养浩看着正在修路但因为连锄头都举不起来而被监工训斥的杨廉，就颇为无语，心道：“这是何必呢，阁臣亲自邀请却不肯来，如今落得个如此地步。”
但丘养浩虽然对杨廉的选择感到不解，但他还是不得不露出一幅替杨廉不平的样子，而大惊地走了来，且连忙喊着：“杨公！杨公！”
“好久都没有人叫我杨公了，好想哭！”
杨廉抬起了头，看了过来，俄然就见一穿红袍的官员朝自己跑了来。
杨廉忙问道：“敢问这位上官是？”
丘养浩忙热情而又不失同情地把住了杨廉的手：“杨公，晚辈乃丘养浩，现忝居苏州知府一官，闻知您被发配于此，特来拜访。”
说着，丘养浩就喝问起这里的监工来：“你们文郎中呢，他在哪里，叫他来见我，这是怎么回事，竟让杨公做如此累话，这挖地的活，能是杨公干的吗，知不知道杨公可是成化二十三年的进士，做过部堂的！”
杨廉见丘养浩为自己鸣不平，还如此尊敬自己，即便自己现在已经被革职为民，心里自然感动，同时也因此更加怀念起自己以前做官横行八面的时候。
“府台息怒，我们文老爷在御前回话，一时半会估计回不来。”
这监工小心翼翼地跪在丘养浩面前回道。
杨廉见此场景自然是羡慕的，心想曾几何时，他也是这么威风的，没有身份的人在他面前也是跪着说话的，哪像现在还要被人像牲畜一样喝斥着。
丘养浩则装腔作势地哼了一声：“他文征明能见到陛下，本官也能见到陛下，等他回来，你告诉他，他要是再敢让杨公这么辛苦，本府定要在御前告他！”
说着，丘养浩就朝杨廉拱手见礼道：“杨公，你素来是晚辈所敬仰的人，如今见您落难于此，晚辈实在不忍，请杨公放心，晚辈就算自己的命不要，也要去陛下面前为杨公求情，求陛下恢复杨公的官身，定不能让您受如此苦！”
杨廉很感动，感动的都快要哭了，他没想到还有这么义气的晚辈。
杨廉甚至感动地跪了下来：“多谢府台相救！老朽此身感激不尽！呜呜！”
“使不得！使不得！杨公快快请起！”
丘养浩忙扶起了杨廉，并道：“杨公放心，晚辈这就去求见陛下，为杨公求情。”
朱厚照在听了丘养浩关于见到杨廉的汇报后，只淡淡地笑了笑：“像杨廉这样的文人但凡识趣点，也不用这么麻烦，你写道奏疏上来，朕批准后，你就亲自去把他接回来吧，先把朕亲自写的这本《大明算学教学大