Раздражать кого-то своими действиями.

«Они действовали мне на нервы: я плохо спала по ночам» (Куприна-Иорданская).