男女离婚时候是否要退回彩礼，还需要看实际的情况是否构成了彩礼返还的条件，如果构成了彩礼返还的条件，可以依法要求退回。可以要求返还彩礼的情形包括3种：1.给付彩礼后悔婚，双方未办理结婚登记的；2.双方即使已经办理结婚登记手续，但确未共同生活过就离婚的，等等。
法律依据：
《中华人民共和国民法典》 第六百六十三条 受赠人有下列情形之一的，赠与人可以撤销赠与：
(一)严重侵害赠与人或者赠与人近亲属的合法权益；
(二)对赠与人有扶养义务而不履行；
(三)不履行赠与合同约定的义务。