不好之处就是桓温害怕他掌握火药这个武器会被他人知晓，准确的说，桓温是在提防着褚蒜子。桓温知道褚蒜子的“影子”，以“影子”的能力，要想知道桓温的火药太容易了。为了防止“影子”暗中绑架杜炅，获得火药的秘密，桓温就软禁了杜炅。
除了自由，杜炅所有的要求，桓温都会尽量满足。别看杜炅一副仙风道骨，道貌岸然的世外高人的样子，事实上他还是一个普通人，一样有需要求。杜炅喜欢喝酒，也喜欢钻研房中术（男人都懂得）。可是失去了那些与信徒接触的机会，杜炅就无法钻研房中术了，对于杜炅的这个爱好，桓温也是尽量满足。
每隔一段时间，杜炅麾下的弟子就会离开大青山西府军匠作大营，去给杜炅拉皮条，找酒找女人。
当孙泰带着数十名道士，在姑熟城内大采购之后，带着满载的货物，以及十几辆牛车，其中三车是货物，而其他十辆牛车拉的都是从青楼里找来的女人。