Остаться с носом. Здесь следует использовать слово «нос» в другом значении – ноша, нести. Выражение относится к человеку, дающему подношение или взятку. И, если дар не был принят, то и договориться было уже невозможно, поэтому человек уходил.