后来杨勇在隋文帝那里失势，杨广取代了皇太子的地位，贺若弼的处境可想而知。
贺若弼此时却不识大体，本来形势就对他不利，他还在那里为杨勇鸣不平。隋文帝得知他又在那里大放厥词，就把他召来说：
“我用高熲、杨素为宰相，你多次在众人面前放肆地说‘这两个人只会吃饭，什么也不会干’，这是什么意思？言外之意是我这个皇帝也是废物不成？”
贺若弼回答道：
“高熲是我的老朋友，杨素是我的表兄，我了解他们，我也确实说过他们不适合当宰相的话。”
这时因他言语不慎，得罪了不少人，朝中一些公卿大臣怕受牵连都揭发他过去说的那些对朝廷不满的话，并声称他罪当处死。
隋文帝见了，对贺若弼说：
“大臣们对你都十分的厌烦，要求严格执行法度，你自己寻思可有活命的道理？”
贺若弼辩解道：
“我曾凭陛下神威，率八千兵渡长江活捉了陈叔宝，希望能看在过去功劳的分上，给我留条活命吧！”
隋文帝说：
“你将出征陈国时，对高熲说：‘陈叔宝被削平之后，问题是我们这些功臣会不会飞鸟尽、良弓藏？’高熲对你说：‘我向你保证，皇上绝对不会这样’是吧？等到陈叔宝被消灭了，你就要求当内史，又要求当仆射。这一切功劳过去我已格外重赏了，何必再提呢？”
贺若弼说：
“我确实蒙受陛下格外的重赏，今天还希望格外的赏我活命。”