Граф Алексей Иванович был человеком незаурядным, дружил со многими выдающимися людьми своего времени. «Двадцать лет он изъявлял нам приязнь», — писал после смерти графа Н.М. Карамзин. Алексей Иванович славился гостеприимством, но не обеды и приемы были главным его увлечением. Все свободное время он посвящал коллекционированию. В его собрание входили картины, монеты, рукописи, книги.

В 1780-х гг. при упразднении Спасо-Ярославского монастыря А. И. Мусин-Пушкин приобрел рукописный сборник «Хронограф», где оказался список безвестного до того времени «Слова о полку Игореве» — выдающегося памятника древнерусской литературы. Вместе со своими друзьями А.Ф. Малиновским и Н. Н. Бантыш-Каменским А. И. Мусин-Пушкин перевел «Слово». В 1800 г. оно было издано тиражом 1200 экз. Во время пожара Москвы в 1812 г. усадьба графа сильно пострадала. Сгорела и богатейшая библиотека, где хранился единственный рукописный экземпляр «Слова». После пожара дом был восстановлен, но пожил в нем Алексей Иванович совсем недолго. В 1817 г. он умер.