Albumet möttes av positiva recensioner från musikkritiker. På Metacritic , som ger ett betyg av 100, fick albumet 77, vilket indikerar generellt gynnsamma recensioner. MusicOHM.coms Graeme Marsh gav albumet 4 och en halv stjärnor och sa: "I Forget Where We Were är ett album att växa till snarare än ett album av omedelbar tillfredsställelse, ett som blommar ut vid varje efterföljande lyssning, ett att hålla dig nära ditt hjärta och vårda för evigt." Henry Boon från DIY Magazine gav albumet fyra stjärnor och sa "...för dem som inte brydde sig om Every Kingdom , kan det också vara lätt att avskriva I Forget Where We Were som bara ett annat lame indie-folkalbum. På närmare granskning, men det avstår faktiskt från båda attityderna; det här albumet är mer komplext, mer fantasifullt och tekniskt sett borta från Every Kingdom ." Han förklarar, "Kronan ligger i den ledande singeln 'End of the Affair', en åtta minuters perfekt subtil konstruktion av komplex klassisk gitarr och ansträngd känslomässig sång." I en recension på tre och en halv stjärna säger Stephen Thomas Erlewine från AllMusic att "Howard förväntar sig att du ska träffa honom på hans egna villkor och ger precis tillräckligt med fonetisk lockelse för att ge honom inte bara en lyssning utan en andra, vilket är när I Forget Where We Were börjar verkligen sjunka i krokarna."
I en mer blandad recension säger Molloy Woodcraft från The Observer att "Enskilda spår tar sin tid att komma igång (bara en låt här kommer på under fyra minuter) och nummer som öppnaren 'Small Things' bryter efter två eller tre minuter att bygga backa upp från ett trevligt tjafs till en ihållande ljudklump", men kommenterar att "titelspåret är en vinnare men det är med 'In Dreams', och dess snabba folkplockning, som skivan verkligen tar fart... [och] det nästan åtta minuter långa 'End of the Affair' syftar till att ge John Martyns Rather Be the Devil en chans att kämpa för pengarna." The Rolling Stones Hilary Hughes kommenterar att "Lika mild som musiken ofta låter så är detta ett album som skär djupt."
