1933年在南京筹建，抗日战争时期西迁重庆，1940年在四川江津正式成立。
战后又迁返南京。1949年迁台，1954年在台北开馆，位于台北市南海路43号。是台湾最大的图书馆，负责台湾图书搜集、编藏、考订、展览及图书馆事业研究辅导等事宜，隶属于台湾教育部。至1984年6月底，共有藏书766961册，其中善本143998册，宋版281部，金元版360部，明版8339部，各家稿本与批校本1000余部，历代手抄本35000部，还有活字版、明清舆图、清代及朝鲜、日本、安南流传的罕见刻本。
馆藏中中文书204514册，西文书75067册，期刊42288册，政府出版物等约13万册，金石拓片5581种，现期报纸中文193种，外文44种，现刊中文3538种，外文2079种。1973年10月，前省立台北图书馆成为其分馆，该分馆藏书436311册，其中以台湾资料及南洋资料较为丰富。台湾资料包括荷兰、西班牙、郑成功资料及清代府县志、奏议和文集等。南洋资料为接收日本人地方资料馆原存资料，包括中国南部各省、南洋群岛、菲律宾、越南、泰国等地书籍，约4万余册，实为研究东南亚问题之重要资料。1978年建成新馆，约1万平方米，可容纳图书250万册，读者4000人。馆下设采访组、阅览组、特藏组、总务组、出版品国际交换处、会计室等，约120人(不包括分馆92名)，其中受过图书馆学教育的占40%。
中文书按《中国图书分类法》、《国立中央图书馆编目规则》和《首尾五笔检字法》分编，西文则按《美国国会分类法》、《美国图书馆协会编目规则》和《克特表》分编。该馆以20岁以上的读者或大专院校学生为服务对象，每星期阅览时间84小时。
并经常辅导台湾各馆业务工作与国内外馆际合作及互借复印，参加或主办各种图书展览，编印联合目录。其主要出版物《中华民国图书目录》(月刊)、《中华民国期刊论文索引》(月刊)、《国立中央图书馆通讯》(季刊)等6种。