革命胜利后，斯大林担任民族事务人民委员、国家监察部人民委员等职。在苏俄内战和外国武装干涉时期，他先后担任全俄中央执行委员会工农国防委员会委员、共和国革命军事委员会委员和南方、西方、西南等战线的革命军事委员会委员，转战各地，为保卫新生的制维埃政权建立了卓越功勋。1922年4月，在俄共第十一次代表大会上，斯大林被选为中央委员会总书记。
1924年1月列宁逝世后，斯大林领导苏联党和人民在十分艰难的条件下进行社会主义建设，把落后的农业国变成先进的工业国，为国防建设奠定了牢固的经济和技术基础。第二次世界大战爆发后，他清醒地认识到，德国最终会进攻苏联，但在进攻的时间上可能不会早于1942年5月。于是，他决心抓紧时机在全国加强防御准备，并以本国安全为由出兵占领邻国领土，以武力解决历史遗留的领土争端，将苏联国界西推300～400公里，建立了一条从波罗的海到黑海的“东方战线”。1939年11月，斯大林担任总军事委员会委员，致力于武装力量建设，鼓励研制新式武器和发展军事学术。1941年2月，在党的第十八次代表大会上，斯大林号召全国总动员，大力研究工业转入战时轨道问题和研制新型武器及提高军事工业产量问题。同年4月，在西部边境战云密布的形势下，与日本签订中立条约，缓和远东边境紧张局势。之后，斯大林被任命为苏联人民委员会主席，全面掌握了苏联的党政军领导大权。