二手房卖买合同没履行双方协商解除合同的,如果不是因房屋中介的原因解除买卖合同的,不能要求退回中介费。如果是中介原因导致合同不能履行的,可以要求退回中介费。
《中华人民共和国民法典》第九百六十三条中介人促成合同成立的,委托人应当按照约定支付报酬。对中介人的报酬没有约定或者约定不明确,依据本法第五百一十条的规定仍不能确定的,根据中介人的劳务合理确定。因中介人提供订立合同的媒介服务而促成合同成立的,由该合同的当事人平均负担中介人的报酬。
中介人促成合同成立的,中介活动的费用,由中介人负担。