侵华日军细菌战部队的组成，始于以石井四郎为首的日本东京陆军军医学校防疫研究室。九一八事变后，日本侵占中国东北三省，成立了伪满洲国，正式在黑龙江省五常县背荫河建立了关东军以石井为名的细菌战部队，对外称加茂部队或关东军防疫给水部队。
1936年日本天皇敕令扩大组织，在哈尔滨和长春各建立一支细菌战部队。在哈尔滨建立的细菌战部队是以石井细菌战部队为基础扩建的，有5个支队，定员3000人，是专为研制杀人用的细菌武器的基地和大本营。在长春建立的细菌战部队是以原关东军马匹防疫厂为基础扩建的，定员1200人，是专为研制杀害牲畜（军马等）和农作物的细菌战部队。这两支部队组成了一支全面性的（对人、畜和农作物三方面）细菌战部队。
1937年七七事变后日本又在18个师团里成立了细菌战的组织和若干个机动性的细菌战部队，活动于各个战场。1938至1939年间又陆续在华北的北平、华中的南京、华南的广州各建立一支细菌战部队，各定员1500人，随后又在我国各大中城市建立了63个细菌战支队或细菌工厂。据日方估计约两万人参与细菌战的工作，此外还收买了大批汉奸。几乎每个作战部队都进行过细菌战。下面是侵华日军细菌战部队的组织机构。