不退赔只交罚金是不可以的。退赃与罚金不是选择关系,对于法院判决罚金的同时,仍然可以要求对违法所得予以追缴或者退赔。犯罪分子违法所得的一切财物,应当予以追缴或者责令退赔;对被害人的合法财产,应当及时返还;违禁品和供犯罪所用的本人财物,应当予以没收。
《刑法》第六十四条
犯罪分子违法所得的一切财物,应当予以追缴或者责令退赔;对被害人的合法财产,应当及时返还;违禁品和供犯罪所用的本人财物,应当予以没收。没收的财物和罚金,一律上缴国库,不得挪用和自行处理。