Le « fort » de Colomiers apparait dans l’histoire dès le XIIème siècle : les fils d’Albert de Villeneuve se partagent en 1192 un lieu fortifié à Colomiers. En 1220, ce sont les enfants de Raymond Durand qui se partagent des parts du château de Colomiers acquis par leur père 20 ans plus tôt. Vers 1350 les Garaud commencent à acquérir des parts de la seigneurie de Colomiers. Un siècle plus tard ils possèdent le château et la moitié de la seigneurie, l’autre moitié appartenant au roi.

La Seigneurie de Colomiers, avec son château, a été transmise de père en fils sur 10 générations, de François Raymond GARAUD à Thomas GARAUD, puis Jean GARAUD, puis à son gendre Pierre Raymond RASPAUD alias GARAUD, puis à son fils Pierre GARAUD alias RASPAUD, puis à son fils Bernard RASPAUD, Antoine de RASPAUD, Jean Jacques de RASPAUD, Marc Antoine de RASPAUD, Jean Louis de RASPAUD… qui meurt vers 1670.
A la fin du XVIIème siècle, après un procès contre leurs cousins les GOYRANS, les RASPAUD perdent toutes les parts du fief de Colomiers.
A la suite des successions le château passe au début du XVIIIème siècle, entre les mains des familles SEDE et VIGNES.
Le château a été bâti au début du XVème siècle. Après avoir été pratiquement démoli pendant la querelle des Armagnac et des Bourguignons, il sera reconstruit en 1530 par les trois frères Raspaud, Bertrand, Jean et Bernard. Il a été démoli en 1963, mais la ville de Colomiers a souhaité conserver le portail d’entrée monumental construit au début du XVIIème siècle.