Howard, en pensioneret søkaptajn, nægter at tage imod hjælp fra sin datter Grace. Da hun ansætter Annie som husholderske, bliver Howard uventet forelsket. Han giver al sin kærlighed til Annie og hendes familie, men afviser sin egen datter. My Sailor, My Love er fortællingen om et skyldbelagt far-datter-forhold. Men også en kærlighedshistorie mellem to ældre mennesker, som viser, at en ny begyndelse aldrig er for sent.