相談お願いします。

私は現在35歳、大学時代から8年間付き合っていた元彼が近所に引っ越してきました。
元彼とは結婚を考えていましたが28歳の時に一方的にフラれてしまい、
私は30歳に焦って結婚、不妊に悩みようやく去年出産しました。

元彼に未練はありませんし、今の生活や旦那に不満はあるものの、
今以上の生活を望んでる訳じゃないのですが、
元彼の存在が目に入る度に「私は結婚に失敗したんだ」と激しく落ち込みます。

こちらはフルタイムの共働き、中古マンション、子は一人、
あちらは専業主婦の若い奥様、子供は二人、新築一戸建て、
他人と比べても仕方ない事だと頭ではわかってるんですが気持ちがついていきません。

元彼の家はベランダから見えるくらい目の前、下の子が我が子と同学年なので
見ないように心がけてもどうしても目に入るし接触もあります。
マンションは二年前に購入したばかりで、引越しは経済的にかなり難しい状態です。

本心では引越ししたいのですが、変に勘ぐられたり誤解されたくありません。
何か上手い言い方や、今のままでも心穏やかに暮らせる方法はあるでしょうか。