吳伯雄為國民黨重用的客家籍人士（桃園客家人），祖先來自福建省永定縣。吳伯雄的伯父吳鴻麒為二二八事件受難者、遭謀殺身亡。父親吳鴻麟曾任第四屆桃園縣縣長。長子吳志揚曾為第十六屆桃園縣縣長，現任立法委員。