胸大和胸小主要和遗传因素有关系，也和肥胖程度、激素水平，和是否在妊娠哺乳期有关。

乳房的主要成分是脂肪组织、乳腺腺叶组织和结缔组织，影响大小的主要是乳腺腺体组织和脂肪组织。当一个人体内脂肪含量高的时候，乳房的脂肪含量也会相应增高，导致乳房比其他人或者瘦的时候要大，但体重减少时乳房也会减小。体内激素水平变化也会引起乳房的大小变化，当青春期出现时，体内的性激素水平增高，乳房开始发育，会较前增大。

妊娠和哺乳期时，体内的孕激素和泌乳素增加，乳房也会相应增大。绝经后，女性体内激素水平下降时，乳腺腺体萎缩，这时乳腺会相应的变小。