Родился в Бостоне в семье Джона Джозефа Хейли и его супруги Элен Керли, имевших ирландские корешки. Когда он был ещё ребёнком, его семья, где кроме него было ещё 5 малышей, нередко переезжала из городка в город, в конце концов осела в штате Индиана. Его карьера началась с роли в водевилях, а в 1927 году состоялся его дебют в кино, где следующие годы он нередко снимался в музыкальных комедиях, таких как «Бедная, малая богатая девочка» (1936), «Кожаный парад» (1936), «Ребекка с фермы Саннибрук» (1938) и «Рэгтайм Бэнд Александра» (1938).
Звёздной для Хейли стала роль Стального Лесоруба известной картине Виктора Флеминга «Волшебник страны Оз» в 1939 году. Во время съёмок для его грима употреблялся мейкап, содержащий дюралевую пыль, из-за которой актёр получил заразу глаз и провел в поликлинике некоторое количество дней. Хейли продолжал сниматься на большенном экране до конца 1940-х, после этого переместился на телевидении, где временами возникал до 1977 года. Он также нередко давал интервью о съёмках в «Волшебнике страны Оз», и вкупе со своими сотрудниками по кинофильму участвовал в почти всех документальных фильмах и передачах, посвященных картине.
В 1921 году актёр женился на Флоренс Макфадден, которая родила ему отпрыска Джека Хейли мл., ставшего удачным кинопродюсером, и дочь Глорию. В 1970-е годы его отпрыск был женат на Лайзи Миннелле, дочери Джуди Гарленд, с которой он снимался в «Волшебнике страны Оз». Хейли был приверженцем католицизма и прихожанином прихода Хорошего пастыря в Беверли-Хиллз.
Джек Хейли погиб в Лос-Анджелесе в июне 1979 года от сердечного приступа в возрасте 80 лет. Похоронен на кладбище Святого креста в Калвер-Сити. Его вклад в киноиндустрию США отмечен звездой на Голливудской аллее славы.