Zaczynał skromnie. W latach 50. pojawił się w serialach, a w 1964 roku zadebiutował na dużym ekranie w tandetnym horrorze „Curse of the Living Corpse”.
Przełom nastąpił w 1971 roku. Najpierw Alan J. Pakula zaangażował go do kryminału „Klute”. Potem partnerował Gene Hackmanowi w dramacie policyjnym „Francuski łącznik” Williama Friedkina. Film zdobył pięć Oscarów, a Scheider otrzymał nominację dla najlepszego aktora drugiego planu.
Jednak rola życia była dopiero przed nim. W 1975 roku na ekrany weszły „Szczęki” Stevena Spielberga. Scheider wcielił się w szefa policji nadmorskiego miasteczka Martina Brody’ego, który staje do walki z rekinem ludojadem. Pojedynek zelektryzował publiczność, a film zmienił amerykańskie kino. Jako pierwszy zarobił 100 milionów dolarów i zapoczątkował erę hollywoodzkich superprodukcji. „Szczęki” uczyniły z Scheidera gwiazdę. Potwierdził swoją pozycję, występując trzy lata później w sequelu.
Nie zapominał także o ambitniejszym repertuarze. W thrillerze „Maratończyk” (1976) Johna Schlesingera był bratem Dustina Hoffmana. Zginął z ręki nazistowskiego lekarza (w tej roli Laurence Olivier). Znakomicie sprawdził się w musicalu „Cały ten zgiełk” (1979) Boba Fosse’a. Film przyniósł mu drugą nominację do oscarowej statuetki. Tym razem dla najlepszego aktora.
Wydawało się, że następne dekady też będą pasmem sukcesów. Jednak choć Scheider pracował regularnie, coraz częściej gościł w filmach bez znaczenia. Tylko okazjonalnie pojawiał się w markowych produkcjach (m.in. „W nocnej ciszy”, „Błękitny grom”).
