La famille de Brosse est issue des vicomtes de Limoges, et ces seigneurs apparaissent dès la première moitié du Xème siècle. Leur chronologie reste cependant incertaine en raison du manque de documents parvenus jusqu'à nous.
- Géraud, vicomte de Brosse (vers 1198-1240).
- Hugues (fils de Géraud), seigneur de Sainte-Sévère (vers 1235-1256/65) et vicomte de Brosse à la mort de son père et jusqu'en 1256/65.
- Hugues (II) (fils du précédent et de Guiburge Palestel, dame de Sainte-Sévère), vicomte de Brosse à la succession de son père et jusqu'en 1296. Son frère Roger sera seigneur de Sainte-Sévère, d'Huriel et de Boussac.
- Pierre (fils de Hugues), vicomte de Brosse (1296-avant 1303).
- Jeanne (sœur de Pierre), vicomtesse de Brosse (avant 1303-vers 1305).
Le titre de vicomte de Brosse passe vers 1305 aux Chauvigny, seigneurs de Châteauroux, par le mariage de Jeanne de Brosse, seule héritière de la vicomté, avec André de Chauvigny, fils de Guillaume (III) de Chauvigny, seigneur de Châteauroux (1270-1322).
André semble être le seul vicomte de Brosse à avoir frappé monnaie avec ce titre, avant de succéder à son père en 1322 et devenir seigneur de Châteauroux.