红豆薏米茶也有不适宜的人群，其实红豆苦而性平，也微有小毒，主入肝经、脾经。薏米虽然没有毒，但是性是甘、凉的，而且有人说微有寒性，因此大便秘结和便秘很严重的病人是不适合用的。还有孕妇，也就是怀孕的病人是禁用薏米。出现下痢，也就是出现腹泻、大便溏稀的病人，也不宜用薏米，这些是其不宜之处。
如果消化能力特别差，本身脾胃功能就特别不好的病人，很难以消化、吸收，薏米不太容易消化，因此会加重胃肠道的负担。如果病人寒性非常重，面色苍白、怕风、怕冷的病症时，不太适宜用寒性药物，也就不太适合用红豆薏米茶。