Олег Иванович родился в Казахстане, куда была выслана семья его родителей. Отец будущего артиста, дворянин и бывший штабс-капитан лейб-гвардии Семеновского полка, был арестован и сгинул в сталинских лагерях. В 1965 году Олег Янковский окончил Саратовское театральное училище и стал играть в местном драматическом театре. Одной из самых ярких его работ того периода стала роль князя Мышкина в спектакле «Идиот». В «Ленкоме» Олег Янковский сыграл множество ролей, в том числе в спектаклях «Парень из нашего города», «Гамлет», «Чайка», «Шут Балакирев» и других. Огромную популярность ему принесло кино. Первой серьезной работой на этом поприще была роль Генриха Шварцкопфа в картине «Щит и меч» (1968 год). Тогда же Олег Янковский сыграл в фильме «Служили два товарища» и стал знаменит. Он играл роли разного плана, среди заметных работ - роли в фильмах «Мой ласковый и нежный зверь», «Звезда пленительного счастья», «Влюблен по собственному желанию», «Обыкновенное чудо», «Тот самый Мюнхгаузен», «Дом, который построил Свифт». Всего же на счету актера около 80 художественных лент.

В 1991 году Олег Янковский был удостоен звания народного артиста СССР. Эту награду он получил за неделю до распада Советского Союза. Сам Олег Иванович шутил, что Станиславский был первым народным, а Янковский - последним. В 1987 году за роль в фильме «Полеты во сне и наяву» Янковскому была присуждена Государственная премия СССР. В 1989-м он получил Государственную премию РСФСР. В 1996-м был удостоен Государственной премии за театральные работы.