Не думаю, что стоит обострять отношения со свекровью, но и слишком часто видеться тоже не вижу причин. Раз или два в неделю нормально.
Мужу скажите, что до года - двух дети плохо идут к другим людям и это нормально, но когда ребенок станет постарше, то обязательно сам потянется к бабушке. Тогда мол вы и станете ее оставлять. Лучше найдите себе "важное дело", чтобы муж видел, что вы заняты. Например, водите девочку в клуб развития малышей, мол там она ползать и научится. У нас что-то такое есть под разными названиями.
Возьмите за правило, о свекрови только хорошее или ничего, тогда муж перестанет переживать, что вы к ней плохо относитесь. Ну а уж эти несколько раз в неделю любите свекровь изо всех сил.

Предложите ей взять что-то яркое, чтобы ребенок к ней потянулся сам. И не забывайте, что все меняется и возможно, она сможет вам помочь самым неожиданным образом. Поэтому старайтесь сохранить хотя бы видимость хороших отношений.
И самое главное, какова бы ни была бабушка, если у мамы с ней конфликт, у ребенка скрытый или открытый стресс, поэтому постарайтесь не позволять себе ее ненавидеть, вспомните, например, что вашего любимого мужа вырастила его мама и за это простите ей возрастные слабости.
И еще после сорока лет, мужчины начинают любить своих матерей сильнее и часто не могут простить женам, что они отравили маме последние годы.
Как видите, я не призываю вас любить свекровь, но постараться сохранить тепло и мир в семье с помощью своего ума и терпимости вам необходимо.