首先灵芝作为菌类，属于发物，有一定的人群对灵芝会产生过敏反应，一旦吃了灵芝粉之后就会出现过敏等不适症状，影响身体健康，降低生活质量，所以对灵芝过敏的人群是不适合吃灵芝的。有不少人知道自己对海鲜、花粉或者螨虫过敏，但是并不知道自己是不是对灵芝过敏。建议易过敏体质的人群对灵芝的服用应该慎重，一开始不要大量的吃，先尝试吃一点点，如果没有过敏的反应再开始放心的服用，如果出现过敏症状的应该立刻停止服用。
另外就是婴幼儿，一般10岁以下的儿童不要服用灵芝，灵芝属于滋补品，少儿的消化器官尚未完全发育成熟，加重消化器官的负担，无法很好的吸收，而且能增加消化道的不良反应。另外中医认为小儿是气血，是纯阴纯阳之体，也不需要服用滋补保健的食品。还有就是大出血的人群，出血倾向的人群，不适合服用灵芝，因为灵芝有抑制血小板聚集的作用，如果吃了灵芝以后出血的现象可能得不到停止，反而会加重。另外血虚的时候也是，吃灵芝可能会起不到适当的补益作用，身体会承受不起。