Petty, geboren in 1950 in Gainesville, Florida, had een zware jeugd, maar een handdruk van Elvis op 17-jarige leeftijd wekte interesse in rockmuziek. David Rolland van de Broward Palm Beach New Times ging in 2014 op trektocht naar plaatsen die belangrijk zijn voor Petty, waaronder zijn ouderlijk huis:
De eerste band van Petty, Mudcrutch, woonde op een boerderij in Gainesville die 'spotgoedkoop' was en 'ver weg van alle buren die zouden klagen over het lawaai', de Gainesville Sun schreef in 2008.
Red Slater, een vriend van de band die een paar jaar op de boerderij woonde, vertelde de zon:
De band verhuisde in 1974 naar Californië om het groot te maken, maar de band brak en een paar voormalige leden kwamen samen om zich te vormen Tom Petty and the Heartbreakers, en de rest, zoals ze zeggen, is geschiedenis (hoewel Mudcrutch in 2007 herenigde en twee uitbracht albums).
Het huis van Petty in Encino, Californië, heeft behoorlijk wat geschiedenis. In 1987 - een jaar voordat de Travelling Wilburys (de supergroep Petty gevormd met George Harrison, Bob Dylan, Roy Orbison en Jeff Lynne) hun debuut uitbrachten - een
brandstichter stak de houten trap van het pand in brand, en bijna alles behalve de opnamestudio in de kelder ging verloren. Petty en familie hebben de plaats herbouwd en volgens Realtor.com:En we komen bij Petty's Lake Sherwood-retraite. Het was te koop aangeboden in mei, en is nog steeds op de markt voor $ 5,895 miljoen. Het werd Casa Della Madonna genoemd en werd gebouwd in 1931 en voelt meer aan als het Comomeer dan in Californië. De 5.300 vierkante voet eigendom is op bijna een hectare met een eigen aanlegsteiger. De woonkamer is voorzien van muren gemaakt van lokale veldsteen en in 2004 is er een rustige master suite toegevoegd met een diep stenen bad en een balkon met een open haard.
