Библиотека изначально была частным собранием книг кардинала Мазарини (1602—1661), бывшего известным библиофилом. После бегства Мазарини из Парижа во время Фронды его первая библиотека была потеряна. Вернувшись в Париж, он стал заново собирать коллекцию.
В 1643 году к библиотеке получили доступ учёные, а в 1661 году, после смерти Мазарини, по его завещанию библиотека перешла в собственность Коллежа четырёх наций. В 1682 году библиотека открылась в восточном крыле здания колледжа, в котором с 1805 года также размещается Институт Франции.
Во время Французской революции и без того немалая коллекция из 60000 томов пополнилась за счёт книг, конфискованных у дворянства и церкви. Тогда же библиотека стала публичной.Вколлекции библиотеки находится одна из Библий Гутенберга, известная как Библия Мазарини. По данным Библиотеки Мазарини, располагающей самой большой в мире коллекцией мазаринад, всего выявлено около 5500 публицистических произведений того периода. Они включают печатные тексты от 2 до 80 страниц полемического, злободневного содержания, принимавшего различные литературные формы: послания, речи, обращения, реальные и выдуманные письма, поэмы, диалоги, рассказы, куплеты, анекдоты, политические трактаты и др., направленные как против кардинала Мазарини, его государственной, общественной, политической, культурной и частной жизни, так и в его защиту.
Уникальность данного источника заключается в том, что власти запрещали издание крамольных текстов, уничтожали тиражи, преследовали авторов и издателей, но эти тексты выходили вновь и пользовались огромной популярностью. Хотя авторство большинства мазаринад анонимно, исследователи выяснили, что целый ряд произведений были написаны известными персонами - Полем Скарроном, Сирано де Бержераком, Кардиналом Рецем, О. Патрю, Ж. Лоре, Г. Патеном, И. Лаффема и др. Количество публикаций и география их распространения свидетельствуют о том, что в написание, публикацию и обсуждение мазаринад были вовлечены образованные слои французского общества.