Swarthmore では約1600人いる全学生のうち、98％の学生が4年間を通して寮に住みます。 Quaker の平等主義に基づき、他の大学にあるようなテーマごとの寮はなく、2つほどある男女別の寮以外、すべての寮がどんなバックグラウンド・アイデンティティ（ジェンダーを含む）をもつ学生でも住めるようになっています。