Актёр родился в Манхэттене в семье евреев-эмигрантов из Российской империи (нынешней Украины и Литвы). Служил на фронте в одной эскадрилье с Джимми Стюартом, имел определенный успех на Бродвее и дважды выигрывал театральную премию «Тони». До 1966 года Маттау играл в фильмах с участием таких звезд, как Берт Ланкастер, Кэри Грант и Одри Хепбёрн («Шарада»), Ингрид Бергман («Цветок кактуса»). Однако подлинную известность принес ему фильм «Азарт удачи» (1966), в котором он сыграл вместе с другим известным комиком — Джеком Леммоном. Этот фильм принес Маттау премию «Оскар» за лучшую мужскую роль второго плана. В 1968 году они снова снялись вдвоем с Леммоном в популярной киноверсии пьесы Нила Саймона «Странная парочка». За этим последовало ещё восемь фильмов с их участием. За пределами съемочной площадки Маттау и Леммон стали лучшими друзьями. Среди их последних совместных работ — комедии «Старые ворчуны» (1993) и «Старые ворчуны разбушевались» (1995), в которой к их компании присоединилась Софи Лорен.
