Намекать о чем-то в разговоре.

«Скажите, пожалуйста, нет ли у вас каких-нибудь развлечений, обществ, где бы можно было, например, поиграть в карты? — Эге, знаем, голубчик, в чей огород камешки бросают!» (Н. Гоголь).

Бросая камень в чужой огород» человек пытается хоть как-то навредить хозяину этого огорода. Именно так поступали крестьяне в средние века, желая напакостить кому-то.