公的虚衔回家闲居。
高颎比较谨慎，以养病为由不参与国事，但此举又遭人陷害，有人说高颎想学司马懿假托有病不上朝，意图取得天下，还有人建议把高颎杀掉，这次文帝虽然没有杀高颎，但还是免除了他的爵位，取消了他离休的待遇。
直到杨广即位，重新启用高颎为太常卿，高颎对杨广也是克尽臣道，认为不当的就直言不讳，招致杨广对他的怨恨，高颎以诽谤朝政罪被杀，同时被杀的还有宇文弼、贺若弼等人。高颎“诽谤朝政”的罪状主要有以下几条：一是劝皇帝不要听“亡国之音”。杨广曾下诏收集北齐、北周故乐人及天下散乐，高颎谏止，认为北周天元皇帝喜爱音乐，结果亡了国，前车之鉴应引以为戒，这令杨广甚为不满。二是劝皇帝不要浪费。杨广为显示隋朝的国力强大，在接待外国人，特别是突厥君主启民可汗来朝时，举行盛大仪式，花费很大，高颎、贺若弼等人对此颇有议论。
杨广得知后大怒，动了杀机，更让杨广忌讳的是，高颎是废太子杨勇的儿女亲家，高颎曾经反对废去杨勇太子之位，杨广即位后杀死了杨勇，对太子的亲家高颎，自然要除之而后快。
史事讲将2隋唐五代三月天