Legrand urodził się w 1932 r. na przedmieściach Paryża. Jego ojciec był znanym aktorem i kompozytorem. Zmarł, kiedy syn miał ledwie trzy lata. Matka wywodząca się z ormiańskiej burżuazji, musiała sama utrzymywać dom.
– Jedyną rzeczą, jaką chciałem się zajmować w życiu, była muzyka – mówił kompozytor w jednym z wywiadów. – Mama pracowała całymi dniami, siedziałem w domu sam, ale na szczęście było ze mną pianino. Stało się moim jedynym przyjacielem. Grałem, żeby zabić nudę. Słuchałem radia i starałem się odnaleźć na klawiaturze akordy znanych przebojów. Ponieważ przychodziło mi to łatwo, odkryłem, że muzyka jest moim przeznaczeniem.
Kiedy Legrand miał dziesięć lat, dostał się do paryskiego konserwatorium.
– Stało się moim drugim domem na jedenaście lat – wspomina. – W tym czasie nie było wydziału orkiestracji, dlatego uczyłem się muzyki w klasach trąbki, puzonu, skrzypiec, wiolonczeli. Profesorowie byli bardzo uprzejmi i pozwolili mi grać na instrumentach do woli. Kiedy później muzycy mówili mi: „Tego nie da się zagrać”, odpowiadałem: „Pozwól, pokażę, że to możliwe”.
Michel Legrand miał okazję uczyć się u słynnej Nadii Boulanger.