Специальной истории библиотеки Академии Филлипса в Эксетере не имеется: не известен год её возникновения и нет данных о её работе в первые полвека существования самой Академии (Академия основана в 1781 году). Первым свидетельством о библиотеке являются воспоминания одного из выпускников Академии 1833 года, о том, что «библиотека находилась в одном маленьком помещении, где хранились старые проповеди и книги по истории».
В 1905 году в библиотеке было около 2000 томов и она занимала две комнаты. В 1912 году к библиотеке добавили ещё помещения, где в будущем могли храниться ещё около 5000 томов. В 1950 году библиотекарь Родни Амстронг для улучшения работы библиотеки, в которой уже насчитывалось 35 тыс. томов, открыл для обучающихся свободный доступ к книжным стеллажам. В 1950-е годы фонды библиотеки значительно переросли здание, где находилась библиотека. После долгих поисков архитектора, который смог бы предложить проект новой современной библиотеки, специальный комитет Академии остановился на кандидатуре американского архитектора Луиса Кана. В 1965 году ему был заказан проект здания библиотеки. Новая библиотека была построена, оборудована и готова к заселению к осени 1971 года. 16 ноября 1971 года занятия в Академии приостановили на один день для переезда библиотеки в новое современное здание. Все ученики, преподаватели и сотрудники Академии участвовали в переносе книг. В этот день в новое здание библиотеки было перенесено около 60000 томов. К 2006 году штат библиотеки насчитывал 7 человек. В коллекции библиотеки хранятся работы выпускников, а также архив Академии. Библиотека в Эксетере в ширину имеет 33 метра, а в высоту 24 метра. По сравнению с окружающими невысокими зданиями библиотека выглядит как огромный куб из кирпича. При помощи создания двойных оконных приемов на фасадах Кан добивается уменьшения масштаба постройки: восьмиэтажный объем визуально трансформируется в четырехэтажный. Архитектор также срезает углы куба, что позволяет обнаружить внутреннюю структуру здания и артикулировать разрыв между фасадами и гранями куба. Фасады Кан понимает как наружную, независимую оболочку, которая как контейнер наполняется внутренней структурой и функционированием здания.
