Mi pareja dice que mi hija se aprovecha de mí

Tengo una hija de tres años y mi pareja dice que la niña me hace chantaje y que siempre que estoy cerca de ella se porta mal y cambia su forma de ser. Según él, nuestra hija solo se porta bien cuando yo no estoy. Dice que se porta mucho mejor cuando yo no estoy con ella y él no lo aguanta. Discutimos siempre por eso y en la calle, él la grita para que se porte bien y siento que no le habla bien ni le trata con respeto. Ya no sé si realmente el problema lo tiene conmigo y lo canaliza así. No le veo feliz conmigo. He intentado hablar con él, incluso le he invitado a dejar la relación, pero no quiere. Dice que el problema lo tengo yo y que tengo que cambiar mi actitud con la niña. Pero yo no sé ser “dura”. Le he planteado que hagamos cosas por separado con la niña, así él no se siente mal.