Forster-Caskey komt uit de jeugdopleiding van Brighton & Hove Albion. Hij debuteerde voor de club op de laatste speeldag van het seizoen 2009/10 tegen Yeovil Town. Op 3 januari 2012 scoorde hij zijn eerste doelpunt voor Brighton tegen Southampton. Op 21 juni 2012 ondertekende hij een verbeterd contract, die hem tot 2015 aan de club bindt. In juni 2012 werd hij zes maanden uitgeleend aan Oxford United, waarvoor hij drie doelpunten scoorde in zestien competitieduels.
Forster-Caskey kwam uit voor verschillende Engelse nationale jeugdelftallen. Hij behaalde onder meer zeventien caps in Engeland -17, waarvoor hij één doelpunt scoorde.