Diffusion gibt es immer nur vom Wärmeren ins Kältere.
Das ist nicht ganz richtig. Die von dir beschriebenen Effekte kommen durch das Bestreben des Temperaturausgleichs zustande. Es gibt aber ebenbürtig das Bestreben die relative Luftfeuchtigkeit auszugleichen. In dem Zuge kommt es sehr häufig auch zur Diffusion vom Kalten ins Warme. Dabei gibt es nur kein Kondenswasser, weshalb es nicht (negativ) auffällt.
Es fällt auch deshalb weniger auf, weil häufig, durch die beschriebenen Verhaltensweisen, die relative Luftfeuchtigkeit auf der warmen Seite höher ist.