До строительства библиотеки редкие и ценные книги Йеля хранились на специальных полках в Библиотеке Колледжа, ныне известной, как Зал Дуайта. Позже в 1930, при строительстве Мемориальной библиотеки Стерлинга, университет создал специальный читальный зал для редких книг. Поскольку коллекция выросла, читальный зал Стерлинга стал слишком маленьким и неподходящим для сохранения тонких рукописей, и возникла потребность в более крупной библиотеке.
Главное беспокойство вызывало сохранение документов. Проблема состояла в том, чтобы обеспечить вполне достаточное освещение для изучения и чтения рукописей в нормальных условиях. Но при этом нужно было ограничить количество света, который может повредить ветхие документы. С этой целью фасад здания был оснащен толстыми прозрачными мраморными стеклами, позволяющими свету распространяться и освещать интерьер, не нанося ущерб редким материалам внутри.
Здание построено из Вермонтского мрамора, гранита, бронзы и стекла окружено неоклассическими и готическими сооружениями. В центре расположена стеклянная книжная башня в шесть уровней, способная хранить 180,000 томов. Именно башня и содержит самую ценную коллекцию, запрещенную для просмотра всем, кроме библиотекарей. Две больших мраморных лестницы поднимаются до уровня бельэтажа, позволяя посетителям рассматривать коллекцию книг. Башня оснащена системой гашения огня, которая использует вместо водных разбрызгивателей комбинации газов, способных в считанные секунды остановить процесс сгорания.
Ниже основного здания Бейнеке находятся еще два этажа, которые содержат механическое оборудование и большое книжное хранилище на самом низком уровне, а также каталог, справочную комнату, читальный зал и офисы персонала. Библиотека Бейнеке открыта как для всех Йельских студентов, так и для посещающих её исследователей.