W kultowym serialu Kaye grał obrotnego właściciela kawiarni, ulubieńca pań i bohatera (mimo woli) francuskiego ruchu oporu podczas II Wojny Światowej. Wystąpił także w zagranej ponad 1200 razy teatralnej wersji "Allo Allo".
Urodzony w niedużej miejscowości Huddersfield edukację zakończył na szkole średniej. Imał się różnych zajęć, zanim odkrył aktorstwo. Po kilku rolach teatralnych i radiowych, swoją pierwszą dużą rolę zagrał w operze mydlanej "Coronation Street". Zagrał wiele epizodów i ról drugoplanowych w sitcomach zanim zdobył sławę w 1982 roku jako Rene Artois. Za tę rolę był nominowany do nagrody BAFTA.