学校前身为1906年成立的山东高等农业学堂。1922年6月成立学校历史上第一个图书馆。1958年10月，图书馆随山东农学院迁至泰安。1964年建成4000平米独立馆舍，藏书231440册。1984年学校图书馆更名为山东农业大学图书馆。1990年建成8053平米图书馆楼。1992年引进深圳图书馆集成管理系统（iLAS）。1998年建成图书馆门户网站。2000年与原山东水利专科学校图书馆合并，2009年原山东林业学校图书馆并入。2003年泮河校区建成2.05万平米图书信息楼，实现校园“一卡通”。2012年岱宗校区建成山东省高校首个RFID智能图书馆，2016年RFID智能管理服务覆盖岱宗、泮河校区。2014年图书馆管理系统更换为汇文系统。

图书馆拥有两个校区3处馆舍，面积2.23万平米，阅览座位3210个，其中电子阅览座位585个。设综合办公室、岱宗校区借阅部、泮河校区借阅部、系统建设部、资源建设部、文献编目部、信息咨询部和《信息检索与利用》教研室等部室，并设有图书馆情报研究中心。学校知识产权信息服务中心挂靠在图书馆，2022年成功入选国家知识产权信息公共服务网点。在职职工58人，其中高级职称21人、中级职称28人，博士学历14人、硕士学历13人。图书馆设学术委员会及文献资源建设、自动化建设、阅读推广等专业委员会，是山东省高等学校图书情报工作委员会常委馆、信息素质教育专业委员会组长馆。被中国农学会科技情报分会授予“先进团体会员单位”，被山东省教育厅授予“山东省高等学校图书管理先进单位”，被山东省古籍保护中心授予“山东省古籍保护工作先进单位”。被山东省委宣传部命名为“山东省社会科学普及教育基地”，被泰安市委宣传部命名为“泰安市社会科学普及教育基地”。