Once in a While var en av de fyra originallåtarna som Madeleine Peyroux släppte på sitt tredje soloalbum " Half the Perfect World . Det var den tredje och sista singeln från det albumet. Låten, som anses vara en av höjdpunkterna på albumet, skrevs av Joe Harris, producenten Larry Klein och Peyroux själv. Mark Orton gjorde arrangemangen på albumversionen. I låten berättar Peyroux för sin ex-älskare att hon fortfarande tänker på honom "en gång i tiden" och att hon "fortfarande ler" när hon tänker på deras kyssar" men hon är "trött på att dö" och så hon kommer att "leva istället". Låten kom inte på kartlistan och det filmades inget videoklipp. Tillsammans med den här låten släpptes även en cover på EP : n av Leonard Cohens och Anjani Thomas "Blue Alert".