宇文泰人称宇文黑獭，这黑獭不是粗口，也不是骂人的称呼，而是宇文泰的字。他是鲜卑人，但因为北魏从冯太后当权起就开始进行汉化改革，所以鲜卑男子也跟随汉人一样为自己改字，并且以字作为称呼。

宇文泰的先祖源出南匈奴，后融入鲜卑族中，号宇文部。当年六镇起义期间，宇文泰一家亦参加了起义队伍。

但在前往左人城途中，被北魏官军击败，父亲宇文肱及大哥宇文颢、二哥宇文连阵亡，宇文泰与其兄宇文洛生大难不死，加入了鲜于修礼军中。

鲜于修礼死后，宇文泰又加入葛荣军中，被任为将帅。葛荣失败后，尔朱荣畏惧宇文兄弟有异心，于是网罗其他罪名，诛杀了宇文洛生。

因为宇文泰慷慨陈述，才释去尔朱荣对他的戒心，才得以幸免于难。由于宇文泰与尔朱荣的部将贺拔岳有旧，贺拔岳亦是武川（今内蒙古武川县）军人，与宇文泰之父宇文肱关系甚密，因此，宇文泰被收编在贺拔岳部下。

永安三年（530年）春，尔朱荣以尔朱天光为主帅，贺拔岳和侯莫陈悦为副帅，率兵前往镇压关陇起义军。

宇文泰以步兵校尉的身份随贺拔岳入关，因镇压起义军有功累迁至征西将军、金紫光禄大夫，增邑三百户，加直阁将军、行原州事。

在镇压关陇起义的过程中，宇文泰趁机扩大自己的影响，对吏民施以恩惠，赢得了不少人的好感。是年九月，孝庄帝元子攸诛杀尔朱荣，但大权仍操在握有大军的尔朱氏手中。

532年，高欢攻灭尔朱氏，拥魏孝武帝元修即位，自总大政。他任命贺拔岳为关西大行台，贺拔岳任命宇文泰为行台左丞，领府司马，加散骑常侍。

当时高欢事无巨细，都委任于贺拔岳。自己则在朝中位居大丞相，秉掌大权。孝武帝元修密谋与贺拔岳相勾结，想牵制高欢。

当时为府司马的宇文泰自请出使晋阳（今山西太原），来观察高欢的为人。宇文泰到了晋阳之后，与高欢口答应对，敏捷雄辩，高欢欲留宇文泰为己用，宇文泰坚决推辞而返。

宇文泰回到长安，对贺拔岳分析了当时形势，他说：“高欢这个人决不甘于为臣下者，他之所以还没有篡夺皇位，是忌惮你们兄弟二人。”

533年八月，孝武帝授贺拔岳为都督，督导雍、华等二十州诸军事、雍州刺史。同年，贺拔岳认为夏州（治岩绿，今内蒙古乌审旗南白城子）是边塞要地，想派一个得力之人担任该州刺史。

在众人的极力推举下，授宇文泰为使持节、武卫将军、夏州刺史。宇文泰到了夏州后，抚慰流民，结好少数民族，很快控制了夏州局势。

534年，贺拔岳联合侯莫陈悦讨伐曹泥，结果中了侯莫陈悦之计，贺拔岳被谋杀。贺拔岳部三军无主，惶惶不安。

有的将领提议由宇文泰统帅贺拔岳部队，但宇文泰的好友劝阻他说：“如今形势不明，处境危险，宇文史应观察一下再作决定。”

但宇文泰却认为：“既然有这个千载难逢的时机，不能患得患失，否则就会错失良机，假若现在不早些前往，统领将兵，让他们早日安心，迟则恐众心自离。”

他立即赶赴凉州接管了贺部的指挥权，约集众将陈说利害，巡视各营寨，稳定军心。而且还击败了侯莫陈悦，向东进据长安。为立政关陇打下了基础。