В силу положения п. 42 Типового положения в таком случае правом истребовать в судебном порядке от члена молодой семьи (молодого специалиста) средств в размере предоставленной социальной выплаты в случае невыполнения им своих обязательства наделен орган местного самоуправления. Так как вы нарушили условия договора деньги придётся вернуть. Попробуйте договориться, может пойдут навстречу, но это его право, но не обязанность.