1924年5月31日，中华民国（北洋政府）与苏维埃社会主义共和国联盟宣布恢复正常外交关系（原俄国与中国的外交关系因“十月革命”而中断），此关系后来被南京国民政府继承。1929年7月18日，因“中东路事件”，斯大林断绝与南京国民政府的外交关系，直到1932年12月才恢复邦交。
中苏复交后，按约定，两国应开始订立中苏互不侵犯条约谈判。但由于日本迅速扩大侵华规模，国民政府将既发展对苏关系，又约束苏联干涉中国内政的政策，转变为谋求与苏联订立互助同盟条约，联合苏联抗击日本，争取苏联出兵抗日的战略。而苏联的方针是支持中国抗日以拖住日本，自己却并不想冒与日本开战的风险。日本也对中苏友好进行各种干扰，这些因素使谈判一波三折，直到1937年才正式订立《中苏互不侵犯条约》。
1933年5月2日，到任的苏联驻华大使鲍格莫洛夫向国民政府主席林森递交国书，按复交谈判时的约定，此时即为中苏缔结《中苏互不侵犯条约》谈判的开启。5月11日，国民政府外交部提出该约草案11款，规定中苏双方承担互不侵犯，互不参加针对对方的敌对行动，不得协助进行侵略的第三国，不得参加侵犯另一方领土完整或政治独立的协定及互不干涉内政的义务。草案还载明：如缔约一方受到来自第三国或几个第三国的侵略时，缔约另一方有义务不得在法律上或事实上承认由此侵略行动造成的既成状况。鲍格莫洛夫将草案发回莫斯科。7月31日苏联外交人民委员部复电说，基本同意就互不侵犯条约进行谈判，但中方草案不能据为谈判的基础，只能用做备用材料；苏联方面也将提出一份草案，供中方参考。
1933年10月13日，鲍洛莫洛夫大使将苏联的草案提交中方。其内容为：倘缔约国之一方受到一个或数个第三国侵略时，缔约国另一方须保持中立；缔约国之任何一方不得对另一方进行任何形式的侵略，不得与一个或数个第三国缔结威胁另一方的政治协议、军事协议，或在经济、金融方面抵制另一方的协议；缔约国一方不容许在本国领土上存在武装反对另一方的组织；缔约国需以和平调解手段解决可能出现的争端和冲突等。
从双方草案可以看出，在缔结互不侵犯条约问题上，双方基本共同点是孤立日本，防止对方与日本联手，以保障自身安全。但双方的互不信任和彼此分歧也十分明显。中方草案要求互不干涉内政，就是要求苏联不得插手新疆和外蒙古事务，不得支持与援助中共。要求“不得在法律上和事实上承认因侵略行动造成的既成现状”，就是要求苏联不得承认“满洲国”。但这两大要求苏联都不可能应允。因新疆曾是沙俄势力范围，与苏联中亚地区山水相连，两地相互之间存在历史、民族和经济上的密切联系，新疆地区稳定与否对苏联中亚地区有直接影响。1931年新疆发生哈密事变，引发了泛突厥主义大泛滥，直接冲击苏联中亚地区。正是苏联通过政治、经济，甚至军事手段插手新疆，树立亲苏政权，稳定了新疆局势，保持了中亚稳定的局面，因此苏联绝对不会从新疆脱手。至于外蒙古早已被苏联作为其西伯利亚和远东地区的安全屏障。一步步地将它从中国彻底分离出去是苏联的既定方针，要求苏联断绝与外蒙古的关系也是不可能的。“满洲国”成立后，中东铁路穿过它的辖区，出于现实利益考虑，苏联不能不在事实上予以承认。由于这些原因，苏联草案中没有互不干涉内政的内容，但却提出双方境内不允许存在反对对方的武装组织，坚持用和平手段解决争端等条款。双方草案表明，两国立场还有相当大的距离。
而恰恰就在与中国开始缔约谈判的同时，苏联主动向日本提出出售中东铁路问题，引起国民政府不满。围绕出售中东铁路问题，中苏进行了长达一年多的交涉，使刚刚启动的中苏互不侵犯条约谈判难以进行。
“满洲国”成立后，日本立即收回了不损害苏联在中东铁路上的利益的承诺。后来日、满当局给铁路的正常营运制造各种麻烦，使苏联无法正常经营下去。它们纵容“各种匪帮和各种集团军队”袭击列车，破坏铁路，杀害员工和对员工施加暴力，而其中有些暴行就是满方护路军自己干的，特别是伪满政府切断了中东铁路东线绥芬河至苏联远东地区的货运直通列车。这不仅给苏联造成巨大的经济损失，而且使该路对苏联失去了战略意义，并导致苏日关系紧张，致使苏联决心出售该路。
苏联出售中东铁路是对远东政策的重大调整。从1897年中东铁路开工时起，俄国建造和经营该路近40年。其中出现过义和团运动、日俄战争、十月革命和协约国武装干涉等重大事件，但苏联始终没有放弃该路，而且为保住该路，不惜多次进行战争，其中包括1900年沙俄军队占领东三省战争和1929年对东北进行的边境战争。因为保住该路，苏联就保住它在整个东北亚的战略优势，进而影响中国内外政策，抑制日本的扩张锋芒，扩大自己对东方的影响。但日本占领东北全境并操纵建立了“满洲国”之后，从根本上改变了东北亚的力量对比。期间日本势力已经成为东北亚和东亚地区局势的主导者。所以中东铁路如果引发任何冲突，都有可能直接酿成日苏战争。中东铁路问题成为东北亚问题的死结。为打开这一死结，苏联于1935年3月23日正式签订苏满铁路让渡协议，将中东铁路出售给“满洲国”（实际上出售给日本）。
苏联决然出售中东铁路，表明它从抑制日本锋芒转变为回避日本锋芒、中立日本的政策。特别是后来德国上升为苏联的主要威胁后，苏联为避免陷于对德日两面作战的困境，更加避免刺激日本。这一政策一直持续到第二次世界大战的末期。苏联对日政策的这一调整，从根本上注定了中国谋求与苏联订立互助同盟条约的努力必然落空。在当时的国际条件下，两国只能走到签订互不侵犯条约这一步。
苏联出售中东铁路后，中国曾对苏联进行严重交涉，但随着日本疯狂分离中国华北，促使国民政府加快了向苏联接近的步伐，搁置售路问题的谈判，重新开启缔结互不侵犯条约的谈判。
不过从国民政府方面来说，这时的缔约谈判已经不是上次互不侵犯条约谈判的简单重复，而是谋求与苏联订立互助同盟条约的谈判了。此时，国民政府已将新疆问题、外蒙古问题和中东铁路问题，甚至中共问题都降到次要地位，而把与苏联建立互助关系提到了首位。1935年2月因中东铁路等问题长期离任的驻苏大使颜惠庆奉命重返莫斯科履职，4月蒋介石派亲信邓文仪充任驻苏联大使馆首席武官。邓文仪在苏联进行多方面的活动，还同中共驻共产国际代表王明进行接触，表示蒋介石愿与苏联进行合作的诚意。
颜惠庆和邓文仪的活动在一定程度上改善了中苏关系的氛围，7月4日行政院院长孔祥熙会见苏联驻华大使鲍格莫洛夫，直接提出了订立中苏互助条约问题。他说日军已在察哈尔安营扎寨，并向宋哲元的部队派遣日本顾问，日本“下一个目标就是渗透到绥远，然后开始进攻蒙古人民共和国”，他问“苏联政府是否打算同中国签订互助条约”?鲍格莫洛夫对问题的提出感到突然，他回答说，互助条约的签订应以良好关系为前提条件，即在贸易条约、互不侵犯条约都早已固定下来的时候才能谈起。鲍格莫洛夫虽然拒绝了孔祥熙，但将这次谈话的内容急电莫斯科，于是中苏缔约谈判又正式运转起来。
10月18日蒋介石和孔祥熙一起会见鲍格莫洛夫，表示赞成中苏缔结贸易协定和互不侵犯条约，但强调缔结“在实质上能促进中苏密切关系并能保证远东和平的协定”。蒋介石向鲍格莫洛夫暗示，这个协定是秘密军事协定，“如果苏联政府给予肯定回答，那么他很想知道苏联政府对这个协定有何想法”。孔祥熙还告诉鲍格莫洛夫，日本人坚持与中国“签订反苏军事协定。日本人说，不稳住中国战场，他们就不能对苏联开战，所以日本必须在华北有一个可以信赖的政府”。“如果蒋介石同意缔结军事同盟，日本就不会反对南京政府对华北诸省的主权，否则他们扬言要‘捣毁’南京政府”。孔祥熙在透露日本要求的同时，坚决否定了中国与日本结成同盟的可能性，他说“中国人民对日本人恨之人骨，乃至不管中国政府向日本做出什么许诺，一旦日本与第三国开战时，不管是同苏联还是美国，中国人民定将迫使政府抗日”。孔祥熙将日本的阴谋告知苏联，也暗示中日并非完全没有达成协议的可能性。
苏联政府为了牵制国民政府对日妥协，表示可以就缔结中苏互助协定问题与中国讨论，但签订协定的时间还没有到来，谈判的目的是弄清蒋介石的真实意图。在苏方这一指导思想的主导下，尽管中苏进行多次谈判，都没有取得进展。
就在中苏谈判毫无头绪的时刻，11月25日德日两国在柏林签署了《反共产国际协定》及《秘密附件》。该协定及附件的矛头直指苏联。苏联情报机关很快获知协定内容，还将内容向中国作了通报。如果说德日建立同盟之前，苏联将日本看作是东方主要威胁的话，那么在这个同盟建立之后，德国则在西方上升为苏联最主要的威胁。因为德国不仅在地理上更直接威胁着苏联的中心地区欧洲部分，而且英、法等西方国家正怂恿法西斯德国反共、反苏。
在这种情况下，苏联更加不愿意与中国签订双边性的互助条约，而承担起共同对日作战的义务。但另一方面，随着东西方威胁的加大，中国在反法西斯侵略中的地位也更加突出。苏联领导人认识到，必须对中国做一些实实在在的事情，才能消除德国对中国的影响，并增强中国的抗战实力和信心。
当时德国与南京政府尚保持着良好的关系，中国军队聘请德国顾问，中国向德国出售钨、锑、锰等战略物资，德国向中国提供1亿马克作为无限期周转贷款。德日同盟建立后，苏联更加担心中国受德国影响，与日本携手反共、反苏。1936年11月，苏联政府向鲍格莫洛夫发出一份《关于进一步发展与中国关系问题的指令》，授权鲍格莫洛夫向蒋介石声明：1.中苏依然是反对共同威胁的合作者，但“以中苏双边互助条约的形式进行合作为时过早”，“建议在目前阶段签订一个广泛的友好条约”。2.这个友好条约内容可与德日之间的秘密协定相似，也就是规定缔约一方不接受和不签订有可能使第三国处于有利地位，使之对缔约另一方造成进攻的危险。3.与南京政府签订以下条款的军事技术方面的协定：①许诺向南京政府出售飞机、坦克以及其他军事技术装备，为此在两三年内给南京政府贷款5000万美元，在10年内以锡、钨、茶、丝绸等中国商品偿还这些军事物资的价款；②与许诺相应，由我们训练中国飞行员、坦克手，在万不得已时向中国西北的某个学校派遣我们的教官；③当唯一一条经甘肃联系中苏之间的交通干线受到日本的威胁，中国军队司令部提出请求，由我们的飞机和坦克联合部队加入保卫交通干线的中国部队，保卫交通线。4.为保障与中国东部的联系，建议成立苏一中航空公司，经营从苏联国境经乌鲁木齐一哈密一兰州一西安一南京到上海的航线；5.与南京政府签署上述协议时极力争取他们免去所有的中国军队的德国军事顾问。苏联政府这一决定的目的就在于，使中国靠近苏联，远离德国，有能力抗击日本，同时又避免刺激日本，以减轻自己来自东西两方面的威胁。这里所谓的“广泛的友好条约”就是互不侵犯条约。但国民政府与德国还处在“蜜月”期，正千方百计地争取德国支援，因而对苏联的上述建议没有立即做出响应。鲍格莫洛夫随后回国述职，中苏缔约谈判暂时中止。
1936年12月12日发生西安事变，苏联明确表示维护蒋介石继续领导南京政府的立场。蒋介石被迫接受张学良和杨虎城将军团结抗日的条件，事变和平解决，迅速形成了不可扭转的全国、全民族一致抗战的形势。1937年2月国民党五届三中全会接受宋庆龄、冯玉祥、孙科等人提议，通过《恢复孙中山‘三大政策’决议案》，和《促进救国大计案》，宣布恢复孙中山的联俄、联共、扶助农工的“三大政策”，以“收复失地（被日本占领的察北、冀东和东北三省)为政府唯一之责任”，表明国民政府转变为对内联合中共，对外联合苏联的抗日政策。这标志南京政府在内外政策上发生了历史性的转折。这一转折为中苏关系的进一步改善创造了有利条件。
1937年4月12日，鲍格莫洛夫与国民政府外交部长王宠惠会谈，他特别强调，不管签订或不签订中苏互不侵犯条约，抑或互助条约，苏联都会给中国5千万美元的军火援助，中国以货物分期偿还。对苏联的建议，国民政府犹豫不决，失去了在抗战全面爆发之前以条约的形式确定中苏关系的重要时机。
1937年7月7日卢沟桥事变发生，中国开始全国抗战，与苏联签订互助条约成为南京政府最迫切的需要。7月8日，蒋介石召见立法院院长孙科和外交部长王宠惠，令他们请鲍格莫洛夫致电苏联政府，从速订立中苏军事互助协议。中国外交部还拟定了一份中苏互助协议草案。
但日本的全面侵华战争粉碎了中苏签订互助条约的可能性。7月31日，苏联外交人民委员李维诺夫指示鲍格莫洛夫，“目前时机(指日本全面侵华战争已经开始——引者)更加不宜签署互助条约，因为这样的条约意味着我们立即对日宣战。”苏联的战略是避免两线作战，它当然不愿为援助中国冒与日本开战的危险。李维诺夫强调，苏联向中国“提供军事物资务必以先签署互不侵犯条约为先决条件”。鲍格莫洛夫对南京政府的解释更加清楚：“如果我们没有互不侵犯条约形式的起码保证，不致中国用我们的武器来打我们，那我们是不能向中国提供武器的。”
面对日本的全面进攻，南京在对苏关系上没有任何回旋余地。一直反对将苏联军事供货与中苏互不侵犯条约挂钩的蒋介石，为得到苏联武器援助，终于同意就签订《中苏互不侵犯条约》举行谈判。1937年8月21日这一天，先是王宠惠与鲍格莫洛夫会谈，没有成功。接着，鲍格莫洛夫又向孙科反复强调苏联的立场。孙科再向蒋介石汇报，到当天晚上，蒋介石接受了苏联的条件，在条约签字前的几小时接见了鲍格莫洛夫，通知对方说，他已命令王宠惠签约。条约以苏方草案为基础，中方做出修改。当天晚上22时，王宠惠和鲍格莫洛夫分别代表中苏两国政府于南京正式在条约上签字，长达5年的《中苏互不侵犯条约》谈判终于落幕。
约文为英文，共4款，其内容为：两缔约国郑重声明，斥责以战争为解决国际纠纷之方法，并否认在两国相互关系间以战争为施行国家政策之工具，“两方约定不得单独或联合其他一国或多数国对于彼此为任何侵略”；“倘两缔约国一方受一个或数个第三国侵略时，彼缔约国约定在冲突全部期间内对于该第三国不得直接或间接予以任何协助，并不得为任何行动，或签订任何协定，使该侵略国得用以施行不利于受侵略之缔约国”；本条约生效以前两缔约国已经签订的任何双边或多边条约，对于两缔约国所发生的权利与义务，不受本条约的任何影响或变更；条约有效期为5年。条约言简意赅：中苏互不侵犯，互不援助侵略对方的第三国。这个第三国就是指日本。
王宠惠和鲍格莫洛夫还以内容完全相同口头声明形式签订了中苏秘密协定(秘密君子协定)，苏联政府承诺，在中日两国正式关系未正式恢复以前，不同日本签订互不侵犯条约。中国政府承诺，在中苏互不侵犯条约有效期间，中国政府不同第三国签订所谓“对共产主义采取联合行动”的实际上指向苏联的任何条约。
因为中苏都避免刺激日本，双方都对条约做低调处理，几乎没有做什么宣传。王宠惠甚至说，中国政府签订该约并不意味放弃传统的反共政策，中国也准备与日本签订同样条约。这就给世人造成该约并不具有多大意义的错觉。但实际上并非如此。该约间接谴责了日本对华侵略行径，奠定了中苏关系国际法基础，中苏形成准战略同盟关系，改善了两国国际环境，粉碎了日本离间中苏的图谋，对中苏双方都有重大意义。对中国来说，首先该约推动南京政府执行坚持抗战、放弃反苏反共政策。在整个缔约谈判中，苏联始终贯穿一个思想，要求国民政府对外不得与日本建立反共同盟（加入《反共产国际协定》)，对内停止内战，并以国民政府执行这两项政策作为与之签约的先决条件。蒋介石也是按照苏联要求一步一步走的。关于南京政府不加人防共共同协定和苏联给予中国军事援助还达成君子协定(即口头协议)。在整个抗战期间，国共统一战线没有破裂，蒋介石始终没有接受日本诱降而与日本一起反苏反共，《中苏互不侵犯条约》无疑起到了重要作用。其次，该约为苏联对华军事物资援助奠定了政治基础。就在签约前的几个小时，蒋介石接见鲍格莫洛夫，同意在莫斯科签署军事供货协议。蒋介石和宋美龄还特别提出，不待中国使团到达莫斯科，便按计划供应苏联的歼击机及其教官。鲍格莫洛夫完全满足了蒋介石的要求，条约一签字，立即请其政府给中国空运50架歼击机。
第三，在新疆问题上中苏之间的矛盾得到化解。1933年苏联支持盛世才成为新疆统治者，他在1935年和1936年两次向苏联借取大笔款项，都没有得到中央政府批准，引起南京政府的不满。《中苏互不侵犯条约》签订后，苏联大批军事供货源源而来，其运输通道只有通过新疆，经甘肃抵达内地。盛世才与苏联保持良好关系反而对保持这条交通线的畅通有利。中苏在新疆问题上的矛盾便迎刃而解。在苏联帮助下，从霍尔果斯至星星峡长1530公里的国际公路很快开通，成为抗战初期的抗战生命线。它对中国抵抗日本侵略战争，最后取得抗战的全面胜利起到了应有作用。对苏联来说，《中苏互不侵犯条约》的签订，极大地减轻了来自日本的压力。“满洲国”成立后，苏联广大的西伯利亚和远东地区被置于日本直接威胁之下，德日结成反共同盟后，苏联进一步面临德、日两面进攻的危险。正是中国的抗日战争拖住了日本进攻苏联的手脚，使苏联集中力量粉碎了德国的人侵，这是被历史证明了的无可争议的事实。
