Джонни Джайлс родился 6 ноября 1940 года в Дублине. Футболом начал заниматься в команде любителей Стелла Мэрис, однако вскоре перешел в профессиональный клуб Хоум Фарм. В 1956 талантливый Джайлс был замечен скаутами Манчестер Юнайтед и выкуплен всего за 10 фунтов стерлингов. В молодежной команде Джайлсу было тесно, проведя всего год в системе Манчестер Юнайтед, он смог попасть в основную команду. За основной состав "дьяволов" начал выступать после мюнхенской авиакатастрофы в возрасте 19 лет.
В течение четырех лет был регулярным игроком основы, однако потом осел на лавке и по собственной просьбе в 1963 году был продан в Лидс за 33000 фунтов. Перейдя в Лидс, Джайлс стал одним из лучших центральных полузащитников в Англии и добился огромного успеха в стане "павлинов". Связка полузащитников Бремнер - Джайлс считалась одной из лучших во всем мире. За 12 сезонов на Элланд Роад провел в футболке Лидса 525 матчей и забил 115 голов. После своего ухода Дон Риви рекомендовал руководству клуба назначить главным тренером Джайлса, однако на освободившуюся вакансию был назначен Брайан Клаф. Клаф проработал в Лидсе всего 44 дня и был уволен, однако и после этого Джайлс не стал тренером "белых". Джон остался на Элланд Роад ещё на год, а после поражения в финале Лиги Чемпионов в 1975 году перешел в Вест Бромвич на должность играющего тренера.
Добился успехов с Вест Бромом, выведя команду из Второго дивизиона, он в первом же сезоне смог занять седьмое место в Первом дивизионе. По признанию самого Джона, несмотря на обилие трофеев в Лидсе, время, проведенное в Вест Бромвиче было для него самым счастливым.
В 1983 году стал играющим тренером клуба Шемрок Роверс, где проработал 6 лет и забил 11 голов, выходя на поле как игрок. Одновременное с работой в Шамрок Роверс тренировал американский клуб Ванкувер Уайткапс, в 1982 году был признан лучшим тренером Североамериканской футбольной лиги. В 1984 году снова стал работать тренером в Вест Бромвиче, однако после не очень удачного начала сезона покинул команду.
После завершения спортивной карьеры стал футбольным журналистом, в 2010 году работал в ЮАР на Чемпионате мира и до начала турнира угадал, что чемпионом станет Испания. Сейчас работает ведущим аналитиком одной из ирландских футбольных радиостанций.