至正十八年（1358年）十一月，朱元璋再次攻打婺源，却久攻不下，朱元璋一筹莫展。这时，三军总管邓愈向朱元璋推荐了朱升，他说，这里有个隐士朱升，是个有学问、有影响的人。于是朱元璋亲自去拜访朱升，想探一探朱升的虚实。
朱升的足智多谋自然是不用说的，他一见到朱元璋，便呈交了一个计策，这个计策就是“高筑墙，广积粮，缓称王”。朱元璋看完这个计策之后，深表认同。于是，朱元璋直至打败陈友谅后，才改称“吴王”。在朱元璋攻打徽州、婺州、处州，以及和陈友谅、张士诚多次的交战中，朱升在军事上提供了大量的谋略，为消灭元朝，统一中原，建立明王朝做出了巨大贡献。
至正二十八年（1368年）正月初四，朱元璋登基称帝，年号洪武。朱升被召至皇城继续充当谋臣，朱升所处地位与“开国元勋”不相上下，朱元璋称赞朱升“为人老实，是老成贤达中的英杰”，晋升其为翰林院学士兼东阁学士、嘉议大夫、知制诰，同修国史，成为皇帝顾问，凡军政机密均与之相商。因为年纪较大，他特免朝谒。朱升为官十多年，深受器重。
