元嫁が子供を引き取ったんだが、何年も経って俺も再婚してから「アンタが育てて」とか押し付けてきた・・・について

別れた妻が子供を引き取れといってきました。
別れたとき3人（一人は元妻の連れ子、二人は私との子）子供は元妻が引き取るといったため、子供の為を思い同意。こちらは養育費を支払うこと、月一度以上の面会を約束して分かれました。

別れてすぐに元妻は遠方に引越し、月一度以上の面会も2度ほど続いただけで、こちらが会いたいといってもあわしてもらえず、連絡先も元妻の連れ子の携帯のみで他の子供とはほとんど話すこともできず、一番下の子に至ってはもう新しい夫を本当の父親と認識しているからといって私のことは時期が来るまで話さないと言われました。

これまで、住所もわからなかったので誕生日プレゼントもろくに渡せないのに何とか調べた住所も親戚の家であったため、何とかかんとか届くような始末。（なのにプレゼントの内容には異常に反応してましたし…）

ところが、下の子がまもなく就学するという時期に下の子を引き取ってほしいと連絡がありました。元妻の連れ子が下の子を泣かせるから（たぶんいじめ？）とのこと。本来ならばもろ手を挙げて喜びたいところですが、実は私も再婚しており、子供は理由があっていないのですが、妻は他人の子供を引き取って世話をすることは無理だと断られました。
その旨を相手に伝えましたが元妻はどうしても引き取れの一点張り。更に聞くと、今では家族全員がその子をいつも泣かしている。私に似ているその子をかわいがることができないとのこと。

今日はそのことで妻と口論となり、どうしたらよいかわかりません。
私としては現状引き取れる状況にはないので、私のところに来て他の家族と会えない状況よりも、出来ればこれまで同様、兄弟や母親と一緒に生活するほうがいいと思うのですが、どうしたらよいかお知恵をいただけますでしょうか？

よろしくお願いいたします。

http://komachi.yomiuri.co.jp/t/2016/0124/748528.htm?g=11