双方婚后签订一份“忠诚协议书”约定：双方应互敬互爱，对家庭、配偶、子女要有道德感和责任感。若一方在婚姻期间与他人有婚外性行为，需赔偿对方名誉损失及精神损失费N万元。后女方发现男方有出轨行为，遂提出离婚，并以男方违反“忠诚协议书”为由，要求法院判令男方支付赔偿金N万元。请问应如何看待“忠诚协议书”的效力？