董承之间争斗日益加剧，就劝杨奉归附曹操，杨奉决定听从徐晃的建议。
公元197年（建安二年），曹操保护着汉献帝要迁都许昌的时候，杨奉在韩暹的挑拨下又改变了归附曹操的主意，而是跟韩暹一起出兵去劫驾。
杨奉在梁（今开封）被曹军杀得大败。徐晃则趁机投奔了曹操。
从此，他便成为曹操的一名忠实战将，跟随曹操转战南北，为曹魏的创建屡立功勋。
曹操分兵给徐晃，派其攻打卷、原武两地，破之，被拜为裨将军。
又随曹操攻吕布，降吕布将领赵庶、李邹等。后与史涣在河内斩杀眭固。
公元200年（建安五年），在官渡之战中，徐晃随曹操击败了投靠袁绍的刘备，又随曹操击败颜良，攻克白马（今河南滑县东北），进至延津（今河南延津北），在此击败文丑，被拜为偏将军。
后与曹洪时袁绍数千车粮草至官渡。击（氵隐）人祝臂，破之。九月，曹操出兵与袁绍作战，不胜而还，坚壁自守。
谋士荀攸对曹操说：“袁绍的运粮车旦夕间就到了，其押运粮草的将领韩勇猛但轻敌，出击可以将他打败”。
曹操问：“谁可以担当这个重任？”荀攸说：“徐晃可以。”
于是曹操派徐晃和史涣带着几千骑兵共同攻打韩猛，在故市（今郑州西北）截烧其辎重。此战，徐晃功劳最大，被封为都亭侯。
公元204年（建安九年）二月，曹操利用袁绍死后袁谭和袁尚争立后嗣的矛盾，发兵北上攻打冀州。
曹操包围了邺城，攻破了邯郸，易阳令韩范诈降而自守，曹操派徐晃前去攻打，徐晃兵临城下，给韩范写了封信，用箭射入城中，陈明利害，劝韩范投降。韩范被说服后改变主张，决定以全城投降。
徐晃劝告曹操说：“如今袁谭、袁尚还没有被击败，没有攻下的城池都等待消息，如果今日灭了易阳，明日那些城池都会死命防守，河北就没有平定的那一天了。请求您招降易阳来给各城看，那样他们都会望风归顺。”
曹操采纳他的意见，封韩范为关内侯。接着，又收降了涉县（今河北涉县西北）长梁岐，同样赐爵关内侯。
曹操能够很快翦除邺城羽翼，攻克邺城，夺得翼州，和他听取了徐晃的这一建议是分不开的。
旋即徐晃又攻毛城（今河北涉县东南），设伏兵大败袁军，破三屯。
之后，随曹操在南皮（今河北南皮）大破袁谭，袁谭被曹军所杀。
徐晃又平定平原叛贼。建安十二年（207年），徐晃随曹操北征乌桓，在白狼山之战中，大败敌军，蹋顿及名王以下10余人被杀，曹操最终讨平乌桓，彻底铲除袁氏残余。徐晃被为拜横野将军。