爷爷总干扰孩子写作业怎么办？

只要女儿快放学了，孩子爷爷就在我家等，等孩子回家做作业就呆在一边看着，一有不对就让她改，而且直接告诉答案。我和他说过很多次让孩子一个人做作业，不要一直和她说话，这样会影响到她的，发现孩子做错了，让她自己动脑筋自己改，才晓得错在哪里，可爷爷就是不听。为此我还把孩子赶到她自己的房间做作业，可她爷爷端了一杯茶也跟了上去。我又不能和他吵，我该怎么办？