软禁在江陵，孙权只说早日将她们送还给关羽，却一直隐瞒关羽的死讯，怕的就是她们孤儿寡母想不开。只是再这样软禁下去，说不准真关出个三长两短，那孙权就别想换回潘璋了。
“唉！”想到这里，孙权便郁闷地前往潘濬府邸。
且说潘濬自投降孙权后，便悉心整理文书，决定将荆州的一应军务、民生、钱粮等问题细细告知孙权，并写上自己的建议，以此来报答孙权当初亲自登门劝降的知遇之恩。
只是近日连连收到蒋琬从成都寄来的书信，诉说二人多年来的兄弟情谊，并深切慰问潘濬一家。潘濬与蒋琬虽非亲生兄弟，但自幼便是相识，数十年来一同读书学艺，感情颇深。蒋琬年少时便有才华，闻名乡里，潘濬也常常以他为目标。因此受到蒋琬的书信，潘濬也不能不为之动容。
此刻潘濬正在内堂勾画荆州的详细地图，忽闻孙权前来，潘濬便赶忙到府外迎接。两人进府后，寒暄了数句，孙权却忽地面露犹豫，良久方才问道“不知承明这几日可曾收到令姨兄蒋琬家书？”
突然听到孙权问出这样的问题，潘濬也不由微微皱眉，如今他和蒋琬各事其主，如果还有家书上的往来，就算不谈公事，也难免会让人心生猜忌，更何况潘濬刚刚归降孙权。孙权这么问，分明是怀疑自己还有二心。
“确实收到……”但潘濬还是如实回答孙权，“只是至尊如何得知？”
“不瞒承明……”孙权为难地说道，“孤令诸葛子瑜前往成都，欲用胡氏母女及周仓三人赎回潘璋，不料刘备、诸葛亮、蒋琬等人却执意要让卿也一并回去，不知卿……”
潘濬这下知道孙权今日来的目的，原来是想用自己换回潘璋，如果孙权不是已经有了这个念头，他根本不会来这里询问自己的意见。
想到这里，潘濬心中顿时无比失落，想当初孙权是如此看重自己，亲自登门，并用观丁父、彭仲爽等俘虏出身的楚地先贤为例来安慰自己，结果这才不到两个月，孙权便已变心。
“原以为我潘濬终遇明主，如今看来，到底是比不过孙权嫡系啊！”
潘濬心中失望至极，但他还是不动声色地向孙权作揖“濬受至尊知遇之恩，愿为至尊分忧。”。
听到潘濬这般说，孙权知道潘濬也是留不住了，心中更加难受，亲自握住潘濬的手，叹息道“承明，孤着实不忍你离去啊……”
“或许有朝一日，濬能再为至尊效力。”潘濬现在能对孙权说的，也只剩下这些客套话了。
待送孙权离开后，潘濬方才郁闷地回到府中，令家眷与家人收拾行囊，准备前往成都。诸多事情交代完毕后，潘濬独自回到内堂，将案几上一卷卷自己精心整理，关于荆州军政的书籍，全部丢进火盆中烧毁，心中也再无为孙权效力之心。
既然潘濬对回成都一事没有异议，诸葛瑾便奉孙权之命，再次回到成都，向刘备阐明了孙权同意用胡氏母女、周仓与潘濬换回潘璋。方案最终达成一致，刘备又和诸葛瑾约定，十二日后在荆州与益州交界处交换人质。等诸葛瑾走后，刘备又命深得他信赖的大将赵云领兵一千，走水路将潘璋押往荆州。
接着，刘备又亲自到关府，将交换人质的消息告诉给关氏三兄弟。得知可以换回母亲、妹妹和周仓，关平与关兴自然如释重负，而关索也十分庆幸自己赌赢了潘濬，看来孙权和他料想的一样，终究是舍不得潘璋。
不过，这件事对关索来说只是刚刚开始。
“大王，臣侄愿随赵将军同往，迎接家母与妹妹，以防孙权使诈！”关索突然对刘备拱手道。
“臣侄也愿前往！”关平牵挂母亲和妹妹，也连忙向刘备请愿。
按常理来说，交换人质的双方并不太会找人冒充顶替，但刘备因关羽之死而深恨孙权，对孙权的人品更加地不信任。加上