在病理上乳腺纤维腺瘤是一个界限清楚的白色结节，质地比较韧，类似橡皮样，大小一般不超过3cm，较大者多见于年轻的患者。乳腺纤维腺瘤的切面一般是瓷白色、实性，偶尔可以见到狭长裂隙，也可以伴有局灶钙化。纤维腺瘤在大体标本上，界限比较清楚，与周围组织是推挤性的关系，并没有向周围组织的浸润。在显微镜下纤维腺瘤的上皮成分，有导管上皮、肌上皮。导管上皮可以表现出多种良性和恶性改变，良性比较多见，比如泌乳性改变、单纯性囊肿、普通型导管上皮增生、大汗腺化生、硬化性腺病。恶性情况有非典型导管上皮增生、非典型小叶增生、导管原位癌、小叶原位癌，还有浸润性癌，但是恶变的时候比较少见。

纤维腺瘤的间质一般比较稀疏，间质细胞没有明显异型性，也没有显著的核分裂，但是对于年轻患者或妊娠患者，可以见到少量核分裂，间质一般没有过度生长，是疏松和黏液状。黏液样间质可以挤压上皮成分，使得导管成裂隙状，年龄较大的患者，纤维腺瘤的间质成分，细胞可以很丰富，甚至可以出现致密纤维化。偶尔还可以见到营养不良性的钙化，罕见的情况下甚至可以出现骨化，这都是纤维腺瘤老化表现，尤其见于绝经后的女性患者。