农业机械的起源可以追溯到原始社会使用简单农具的时代。在中国，早在公元前三千年前新石器时代的仰韶文化时期，就有了原始的耕地工具——耒耜；公元前十三世纪已使用铜犁头进行牛耕；到了春秋战国时代，已经拥有耕地、播种、收获、加工和灌溉等一系列铁、木制农具。
公元前90年前后，赵过发明的三行耧，即三行条播机，其基本结构至今仍被应用。到九世纪已形成结构相当完备的畜力铧式犁。在《齐民要术》《耒耜经》、王祯《农书》《天工开物》等古籍中，对各个时期农业生产中使用的各种机械和工具都有详细的记载。在西方，原始的木犁起源于美索不达米亚和埃及，约公元前一千年开始使用铁犁铧。
十九世纪至二十世纪初，是发展和大量使用新式畜力农业机械的年代。1831年，美国的麦考密克创制成功马拉收割机；1936年出现了第一台马拉的谷物联合收获机；1850～1855年间，先后制造并推广使用了谷物播种机、割草机和玉米播种机等。
20世纪初，以内燃机为动力的拖拉机开始逐步代替牲畜作为牵引动力，广泛用于各项田间作业，并用以驱动各种固定作业的农业机械。30年代后期，英国的弗格森创制成功拖拉机的农具悬挂系统，使拖拉机和农具二者形成一个整体，大大提高了拖拉机的使用和操作性能。
由液压系统操纵的农具悬挂系统也使农具的操纵和控制更为轻便、灵活。与拖拉机配套的农机具由牵引式逐步转向悬挂式和半悬挂式，使农机具的重量减轻、结构简化。40年代起，欧美各国的谷物联合收获机逐步由牵引式转向自走式。60年代，水果、蔬菜等收获机械得到发展。自70年代开始，电子技术逐步应用于农业机械作业过程的监测和控制，逐步向作业过程的自动化方向发展。
新中国成立初期，广为发展新式畜力农具，如步犁、耘锄、播种机、收割机和水车等。50年代后期，中国开始建立拖拉机及其配套农机具制造工业。
1956年，中国首先在水稻秧苗的分秧原理方面取得突破，人力和机动水稻插秧机相继定型投产；1965年开始生产自走式全喂入谷物联合收获机，并从1958年起研制半喂入型水稻联合收获机；1972年创制成功的船式拖拉机(机耕船)，为中国南方水田特别是常年积水的沤田地区，提供了多种用途的牵引动力。