Low Down perustuu Amy-Jo Albanyn muistelmiin. Amy varttui usein poissa olevan muusikkoisänsä, jazz-/bebop-pianisti Joe Albanyn luona. Elokuva keskittyy vuosiin 1974-1976, jolloin Amyn tukena olivat vain isoäiti sekä sekalainen joukko Hollywoodin hylkäämiä, omalaatuisia ystäviä. Kun Joe yrittää saada keikkoja, ylläpitää heroiiniriippuvuuttaan ja pysyä poissa vankilasta, Amy aikuistuu nopeasti köyhille tarkoitetussa asuintalossa Hollywoodin liepeillä.