Fisher ebbe una educazione anglicana e fu insegnante a Marlborough nel periodo in cui decise di essere ordinato, divenendo sacerdote nel 1913. Era il periodo in cui le scuole pubbliche inglesi avevano eliminato ogni collegamento con la Chiesa Anglicana e non era comune che gli insegnanti fossero uomini di chiesa, al contrario i direttori delle scuole erano normalmente sacerdoti.
Si ritirò a vita privata nel 1961. Consigliò il Primo Ministro, Harold Macmillan, riguardo alla nomina del nuovo Arcivescovo di Canterbury, sconsigliando la candidatura di Michael Ramsey, che era stato un suo allievo a Repton, come suo successore più idoneo.