齐白石一生画牛并不多见；偶或为之，总有深意，大约总是其少年牧牛生活的心灵记忆的回现，谓之乡愁。他的很多诗句其实都可以说明，如《牛》：“星塘一带杏花风，黄犊出栏东复东。身上铃声慈母意，如今亦作听铃翁。”又自注云：“余幼时尝牧牛，祖母令佩以铃。谓曰：日夕未归，则吾倚门。闻铃声则吾为炊，知已归矣。”或是因对客寓生活的倦而生返乡遁居之意，如《耕牛》诗云：“奔驰南北复东西，一粥经营老不饥。从此收将夸旧画，倦游归去再扶犁。”甚至是对少年生活的回忆，如《忆少年》：“百梅祠外塘头眺，十字坡前牛背眠。往事重寻难再梦，心随鸿雁渡烟湘。”牛已成为一个生活烙印，是星塘老屋、杏子坞的代名词。
这幅《五牛图》仅绘五头牛，姿态各异，或躺卧反刍，或以背示人，或母子相伴，或独行而前，几乎囊括了常见的白石老人画牛的姿态，且空无一物的背景，则让人有着无限的想象空间。
胡佩衡父子所著《齐白石画法与欣赏》一书中曾记述了白石老人画牛的故事：蜀中张伟良善画，尤喜画牛，卧者、立者、食者、耕者，皆毕肖。生平画牛数千头，无一相同者。为人画以头计而论资，不计幅之大小。一日画斗牛，态怒，角相触，尾高举，奕奕如生，自谓为得意之笔。见者亦谓为神品。适一农夫过其家，见而笑曰：非佳作也。张怪问之，农夫曰：吾非解画也，乃习见真牛者，牛斗时夹尾于两股，壮夫数人，曳之不出，今先生所画，牛尾高举，吾是以知其非佳作也。张然若失，自此不复画牛。从老人所记这段故事中，再从老人所画牛图中，可以了解他是怎样对待生活的。
本作并无年款，但据题款书法可知，大约作于上世纪三十年代，此时齐白石在北京名声渐起，但也仅够养活一家子，故而题款是以旧作诗一首：“有兽有兽名曰牛，一犁春雨何年休。牛栏稻草犹不足，马槽谷米如山丘。”白石老人或许以牛自比，相较别的画家，自觉尚不为更多人所熟知，收入尚不足。
