当德军装备着MP-38/40冲锋枪跟苏联人的波波沙冲锋枪火拼的时候，美军装备的依然是20年代设计的汤姆森冲锋枪，当时这种冲锋枪不仅美军大量装备，在《租借法案》之前还大量出售给英国。
不过，汤姆森冲锋枪大量使用切削技术，不仅耗费工时，而且造价高昂，当年民间出售的汤姆森冲锋枪标价235美元，1939年美国政府的采购单价为209美元，即便是经过了多轮改进，其价格最低也有45美元。正是由于受不了汤姆森冲锋枪的高价，而且英国也不生产11.43毫米口径子弹，英国开发了使用9毫米口径巴拉布鲁姆子弹的斯登冲锋枪，造价仅9美元。
美军即便财大气粗，也受不了汤姆森冲锋枪的高成本和长工时，美军对当时的各种冲锋枪进行了对比试验，试图从中获得灵感研发一款新型冲锋枪，价格低廉，能够大量生产。当时参加对比试验的除了汤姆森冲锋枪，还有斯登冲锋枪、芬兰M1931索米冲锋枪、澳大利亚奥斯登冲锋枪和德军的MP-40冲锋枪。经过试验，美军认为看起来粗制滥造的斯登冲锋枪是最佳选择，决定借鉴其思路研发美国版本的斯登冲锋枪，当然，要发射美国传统的11.45毫米口径大威力手枪子弹。
1942年10月，美国陆军少校雷涅·R·斯达特拉和通用汽车公司国内部主任工程师弗雷特利克·W·圣普森领导的开发小组开始设计新型冲锋枪，1943年夏季，这款被命名为M3的冲锋枪开始生产，造价仅为20美元。经过改进后于当年秋天开始装备美军，因为其外形缘故被美军士兵称之为“注油枪”，很快就因为其轻巧方便、设计时容易控制等优点得到了士兵们的信赖，很多军官也在前线随身携带一支M3冲锋枪。
M3冲锋枪大量使用冲压件，降低其生产成本和制造难度，尽可能简化零件，与MP-40和波波斯冲锋枪的向下折叠式枪托不同，M3冲锋枪采用了伸缩枪托，类似于现在的MP5冲锋枪。除了可以发射美式的11.43毫米子弹，还可以通过由枪机、枪管和弹匣插入口的弹匣转换套组成的转换套件改为发射欧洲最常见的9X19毫米口径巴拉布鲁姆手枪子弹，此外，战时的OSS还装备有安装有消音器的M3冲锋枪来执行特殊任务。
M3冲锋枪在战时总共生产了约60万支，朝鲜战争期间又生产了几万支，M3冲锋枪在美军中大约服役到1957年，不过，在某些部队中一直装备到20世纪90年代，例如，在1991年期间的海湾战争，隶属于第一装甲师第19工兵营的车手们，仍然装备了极少数的M3A1，这个时候的M3冲锋枪更加类似与现代的PDW，作为个人防卫武器使用。
中国在抗战期间就获得了部分M3冲锋枪，由于其性能优异，国民政府下属军工厂在1947年仿制成功将其装备国军部队，命名为36式。当然，内战中也大量被解放军缴获，除了在朝鲜战争中与美军的M3冲锋枪对射之外，朝鲜战争结束后其很快就被56式枪族替换，除了少量装备民兵，大部分都军援给了越南。除了中国，日本、韩国和南越等国家军队都曾经大量使用。
