Le « fort » de Colomiers apparait dans l’histoire dès le XIIème siècle : les fils d’Albert de Villeneuve se partagent en 1192 un lieu fortifié à Colomiers. En 1220, ce sont les enfants de Raymond Durand qui se partagent des parts du château de Colomiers acquis par leur père 20 ans plus tôt. Vers 1350 les Garaud commencent à acquérir des parts de la seigneurie de Colomiers. Un siècle plus tard ils possèdent le château et la moitié de la seigneurie, l’autre moitié appartenant au roi.

La coseigneurie de Colomiers, avec son château, a été transmise de père en fils sur 10 générations, de François Raymond GARAUD à Thomas GARAUD, puis Jean GARAUD, puis à son gendre Pierre Raymond RASPAUD alias GARAUD, puis à son fils Pierre GARAUD alias RASPAUD, puis à son fils Bernard RASPAUD, Antoine de RASPAUD, Jean Jacques de RASPAUD, Marc Antoine de RASPAUD, Jean Louis de RASPAUD… qui meurt vers 1670.
A la fin du XVIIème siècle, après un procès contre leurs cousins les GOYRANS, les RASPAUD perdent toutes les parts du fief de Colomiers.
Le château de Colomiers a été construit au début du XVe siècle mais, il a été presque entièrement détruit durant la querelle des Armagnacs et des Bourguignons, une période de troubles qui opposa deux factions rivales pour le pouvoir en France au XVe siècle. En 1530, les trois frères, Bertrand, Jean et Bernard Raspaud, le rebâtisse. La famille Raspaud en conserve la propriété jusqu’à la fin du XVIIe siècle. Au cours du XVIIIe siècle, le château passe entre les mains des familles Sède et Vignes, par le jeu des alliances et des héritages. Malheureusement, le château est démoli en 1963. Seul le portail d’entrée monumental, érigé au début du XVIIe siècle, a été conservé et témoigne aujourd’hui encore de l’existence passée de cette demeure. La ville de Colomiers a fait le choix de préserver cet élément architectural remarquable, rappel de l’histoire et du patrimoine de la cité.