家里避孕套少了，老公说为了试探我会不会翻他东西？

sunshine

我和老公异地，去年相亲认识。认识的时候，我被他吸引了，他觉得我也不错，或许，女追男，隔层纱吧，我们很快确定恋爱关系。我一直觉得他总对我缺少点什么，天真的认为只要经过时间就好了。
我们认识差不多四个月，他见了我爸妈，后面我也见了他的家长。
本以为事情很顺利了……突然发生一件事情。
原来在我们恋爱期间，他和前女友藕断丝连，还有了孩子，可惜孩子不好，前女友流产了。他前女友加了我微信，以告密者的身份，告诉我整件事情。我不能接受，提出和他结束。性格决定命运，我还是喜欢他，没有和他结束，甚至还和他结婚了。他也保证会好好对我，放下过去的一切事情。他说之前前女友已经找别人和他分手了，她知道他和我在一起了，很不甘心，就天天来他单位和家里找他……
这件事情是在我心里一直是疙瘩，家里在装修，前几个月我们借房子住。有一次我发现了避孕套，我数了个数，好几个月来一直没变，直到上个月，我发现少了一个，我的牙刷杯上还有很长的头发，他说有租客看房子，他也不知道。
现在我怀孕了，我们两周见一次。他把避孕套放在袜子里，他说等三个月以后可以，不过要做措施。我前几天好奇，又数了下，发现少了四个。我问他，他说故意试探我会不会翻他东西，试探我是不是相信他？还说如果真的出轨，就会把避孕套补上，不会让我发现了……
我觉得理由很不可信，还不是和前女友有关？
我现在挺乱的，他明确说既然和我结婚，和我有了孩子，就没想过离婚，也会好好待孩子，好好对我……
我一再地问他，他还是会说那套说辞。
我应该离婚吗？可我没有明确的证据，但孩子怎么办？