Внешний фонетический облик слова мадам никак не свидетельствует о его принадлежности к женскому роду. Несклоняемые существительные, обозначающие лиц, относятся к мужскому или женскому роду в зависимости от своего значения, т. е. соотнесенности с реальным полом обозначаемого лица. Слово мадам женского рода, потому что используется как обращение к женщине.