Фонд редкой книги музея ныне насчитывает около 16500 томов: это издания XVI - начала ХХ вв., около 60 рукописных книг. Основу его составляет библиотека Н.Б. Юсупова-старшего (1751–1831). Это было книжное собрание просвещенного вельможи. То есть, во-первых, оно было крупным, способным одним объемом продемонстрировать богатство и высокий социальный статус владельца. Во-вторых, оно включало в себя сочинения из едва ли не всех существовавших в то время областей знания и сфер художественного творчества: точных и естественных наук, истории и географии, экономики и юриспруденции, военного и морского дела и т.д. Особенно крупными и тщательно подобранными были те разделы, которые служили князю постоянным подспорьем в его разнообразной деятельности или «обслуживали» его интеллектуальные и эстетические интересы: изобразительного и садово-паркового искусства, театра, изящной словесности, экономики. Предметом особой гордости Н.Б. Юсупова были книги раннего периода книгоиздания (более десятка так называемых палеотипов – книг, напечатанных до 1550 г., в том числе как минимум две инкунабулы – книги, выпущенные до 1500 г.), а также несколько сотен экземпляров изданий, выпущенных в свет выдающимися типографами XVI – начала XIX вв.: Альдами, Эльзевирами, Баскервилем, Бодони, Дидо. В конце 1820-х – начале 1830-х гг. библиотека в Архангельском, ставшая для Н.Б. Юсупова с середины 1810-х гг. основной, насчитывала от 15 000 до 18 000 томов и для своего времени была одной из лучших в России. Кроме того Юсупов имел библиотеки в Москве, курском имении Ракитное; несколько сотен книг хранилось в подмосковном имении Спасское-Котово.

Для понимания масштаба и уровня Н.Б. Юсупова как коллекционера стоит отметить, что в собрании книг по живописи общие сочинения, среди которых знаменитая «История живописи в Италии» аббата Луиджи Ланци, соседствовали с биографиями художников и изданиями, посвященными разным европейским коллекциям, в том числе Эрмитажу, – иллюстрированными альбомами и каталогами музейных собраний, выставок и аукционов. Князь располагал теоретическими трудами и специальными сочинениями по технике изобразительного искусства. Благодаря такому подбору литературы князь мог не только знакомиться с широким кругом произведений, но и составить представление о принципах построения частных коллекций.

Большинство изданий в библиотеке Н.Б. Юсупова (около 2/3) на французском языке, но немало книг на русском, итальянском, латыни. Основная часть из них – в сравнительно недорогих, характерных для своего времени переплетах из телячьей кожи или в полукожаных переплетах. Роскошные сафьяновые переплеты встречаются редко – их выполняли для изданий, выдающихся своими полиграфическими достоинствами. Например, для четырехтомного собрания сочинений Гомера, выпущенного в 1778 г. французской издательской фирмой Дидо, или для поэмы Торквато Тассо «Освобожденный Иерусалим», вышедшей в 1798 г. в типографии итальянского издателя Дж. Бодони.

Крепостные мастера изготовили для книг деревянные шкафы, в которых библиотека хранится по сей день.

В 1920-30-е гг. библиотека «Архангельского» сильно пострадала: в центральные государственные библиотеки, музеи, антикварные магазины, библиотеку военного санатория было вывезено несколько тысяч томов, в том числе инкунабулы, палеотипы, большая часть альдин.

В 1929 г. фонд редкой книги пополнился более чем 800 книгами из библиотеки усадьбы князей Голицыных Никольское-Урюпино. Этот фрагмент библиотеки интересен не только изданиями и рукописями XVI-XVIII вв., но и тем, что основателем библиотеки был известный политический деятель и дипломат первой трети XVIII в. Дмитрий Михайлович Голицын (1665–1737).

Фонд рукописей музея-усадьбы насчитывает более 1100 документов. В основном это фрагменты родовых архивов князей Юсуповых Голицыных, документы по ведению хозяйства. Особое место занимает Книга для гостей, начатая в 1884 г. В ней – подписи Николая II, великокняжеской четы Сергея Александровича Елизаветы Федоровны, представителей европейских монархических домов: принцессы Виктории Мелиты Великобританской, принца Эрнста Людвига Гессенского, Марии Румынской, Фердинанда I и других. В Книге есть и автографы представителей русской аристократии – Шереметевых, Голицыных, Щербатовых, Оболенских, Гагариных и других, а также деятелей русской культуры – художника В.А. Серова, композитора К.Н. Игумнова, историка П.И. Бартенева. В советское время гостевая книга была превращена в книгу отзывов посетителей музея.

Около 200 единиц насчитывает собрание фотографий князей Юсуповых, касающихся как самих владельцев, так и их имений в России и за рубежом. Невозможно переоценить коллекцию раскрашенных стереодагерротипов 1861 г. фирмы «Т. Шнайдер и сыновья». На уникальных пластинах запечатлены интерьеры дворца Юсуповых на Мойке после реконструкции, выполненной архитектором И. Монигетти.