C’est en 1309 que les Ermites de Saint-Augustin décident d’établir un couvent au cœur de Toulouse. Avec l’autorisation du Pape Clément V, des travaux sont rapidement entrepris sous la direction de Jean de Lobres, maître d’œuvre de la cathédrale Saint-Étienne.
Dès 1341, une assemblée générale de l’ordre se réunit dans le couvent. À cette date étaient sans doute déjà construites quatre travées de l’église, le clocher et les salles capitulaires, ainsi que la première galerie du cloître. L’ensemble des galeries du grand cloître est achevé à la fin du 14e siècle. À cette époque, près de deux cents moines vivaient, travaillaient et priaient dans le couvent.
Caractéristique de ce qu’on appelle le style gothique méridional, l’église est organisée autour d’une large nef unique, sans transept, ouvrant sur un chevet à trois chapelles seulement. Sa construction est ralentie par le grand incendie qui ravage Toulouse en 1463 : l’église est finalement consacrée le 30 juin 1504.