1884年在日本大阪組建。日軍常備師團的建制編制為兩個步兵旅團,共4個步兵聯隊及騎兵、工兵、炮兵、辎重聯隊等,全師團共2.2萬人,裝備有四一式山炮12門、三八式野炮36門、37毫米速射反坦克炮12門、輕型裝甲車12輛。因日本陸軍實行地區後備役兵員征兵制,每個陸軍師團平時戍守的地區,又是該師團官兵的家鄉和補充兵源的地區,第四師團平時駐守在日本大阪、和歌山等地,該部官兵全部為該地區人。因日本陸軍稱呼某師團名稱常冠以地名或師團主官名字,故第四師團又稱“大阪師團”。曾任該師團師團長的有北野憲造中将、山下奉文中将、阿部信行中将、松井命中将、松村松治郎中将等。曾作為關東軍的部隊駐紮在中國東北,并作為華中派遣局的部隊參加過侵略中國的戰争。