这样的协议对内才有效，对外是无效的。除非他们知道你们有这个协议。最好写一个协议说责任都你丈夫承担，然后让银行的人签字。否则你是很难证明他们知道你们夫妻间有这个协议的。我觉得如果你已经下定决心要离婚了，现在就可以啊，他出轨了，你就可以根据这个事实多分些财产。而且他还有厂，你也是可以分一半的。如果一直这样下去，也许他以后会借更多的钱，你要担的责任只会更多。