Olivia s-a născut în 1916, la Tokyo, în Japonia, dar ambii ei părinţi erau din Marea Britanie. Olivia şi sora ei la fel de faimoasă, Jane Fontaine, au moştenit talentul de la mama lor, Lillian, actriţă de teatru. Întreaga familie a plecat înapoi înspre Marea Britanie în 1919, dar fetele şi mama lor au rămas în California, scrie click.ro.
După mai multe roluri pe scenele teatrelor din American, Olivia a debut pe marile ecrane în 1935, într-o ecranizare a piesei „Visul unei nopţi de vară”. Rolul care a consarcrat-o şi i-a adus prima nominalizare la Oscar a fost cel din „Pe aripile vântului”.
A câştigat primul Oscar în 1946, pentru rolul din filmul „To Each His Own”, iar apoi un altul în 1949, pentru „The Heiress”. A jucat în opt pelicule alături de celebrul Errol Flynn, iar alături de prietena ei cea mai bună Bette David, în alte patru.
A preferat să se retragă treptat din lumea filmului şi a avut apariţii sporadice până în anii 1970 pe marle ecrane şi până în anii 1980 pe micile ecrane.
De-a lungul vieţii, Olivia a fost implicată activ în politică şi i-a sprijinit pe Franklin D. Roosevelt şi Harry Truman în campaniile lor prezidenţial. În plus, Olivia a fost prima femeie preşedinte a juriului Festivalului de Film de la Cannes, în 1965.