临床并没有四种人不宜吃玉屏风散的说法，但是阴虚盗汗人群、过敏人群等需要避免使用，以免发生不必要的伤害。

1、阴虚盗汗人群：玉屏风散具有益气、固表、止汗之功效，主要用于表虚自汗，而阴虚盗汗人群使用玉屏风散，容易导致虚不受补，从而使阴虚盗汗的情况更加严重，因此需要避免使用。

2、过敏人群：玉屏风散由防风、黄芪、白术所组成，如果患者对其中一味药物过敏，则需要避免使用玉屏风散，否则会发生过敏反应，导致皮肤瘙痒、起皮疹、腹痛、腹泻等不良情况。

除了上述的人群以外，实热自汗、脾胃虚弱、孕妇等人群也不宜吃玉屏风散。如果需要使用玉屏风散治疗疾病，建议积极到医院的中医科就诊，完善望、闻、问、切检查，在辨证下判断是否适合使用，以选择合适的用法和剂量。