Le Collège est fondé en 1927, à la demande de l’archevêque de Montréal, par les prêtres de Saint-Sulpice de Montréal. Les plans du premier bâtiment sont de l’architecte montréalais Eugène Payette. Il est nommé en l’honneur du prêtre André Grasset. À l’époque, c’est le premier collège à ne recevoir que des étudiants de l’extérieur : il n’y a pas de pensionnat. 

En 1962, on inaugure le pavillon Aurèle-Allard, qui accueille les étudiants pour les cours de philosophie et de sciences, et aussi la bibliothèque. Un auditorium est aussi construit.

En 1967-1968, c’est la dernière année où le collège enseigne le cours préparant au baccalauréat ès arts. Les deux années suivantes, le collège se consacre à l’enseignement secondaire.

À partir de 1970-1971, après les réformes entreprises par le gouvernement de l’Union nationale, le Collège se consacre à l’enseignement des deux années d’enseignement préuniversitaire.

On ouvre un gymnase en 1975, puis une salle polyvalente en 1990. La salle de théâtre Lise-Guèvremont, est inaugurée le 25 janvier 2002.

L’année 2002-2003 est celle du 75e anniversaire du collège. On donne le prix André-Grasset à l’écrivain Claude Jasmin.

Depuis l’automne 2003, les cours de formation technique se donnent à l’Institut Grasset situé au 220, avenue Fairmount Ouest.