已經埋伏在關家垴下的特務團第3營聽到垴頂隆隆的爆炸聲，知道偷襲的2營正在與敵激戰。3營在營長帶領下一躍而起從南坡向上攻擊前進。很快3營就攻到了南坡那一排被老百姓放棄的窯洞附近。
“上！上！”警衛連長未曾想如此順利，興奮地揮舞著手槍，指揮著戰士們向上沖鋒。
“嗒嗒嗒…嗵嗵嗵…”在戰士們不經意間，左側原本黑洞洞的幾孔窯洞忽然“活”了起來，五條火蛇噴涌而出，帶著令人心悸的彈流舔向正蜂擁經過窯洞旁的戰士們。
窯洞中埋伏著敵人！一個分隊長帶領著40多鬼子早已在窯洞部署多時了。這是鬼子的第一道防線。鬼子兩天的苦功沒有白下，他們在軍棍嚴厲督促下，將這排窯洞全打通了，每個窯洞都筑有機槍陣地，既可獨立構成一個火力點，又可與其他窯洞互相掩護、互相支援，形成交叉火力網。機槍陣地前還挖有防彈壕，如果手榴彈沒有扔到位，掉到防彈壕里，就難以對日軍構成威脅。窯洞外也挖了工事，構成了里外相連、窯窯相通的循環作戰工事。
3營的戰士們瞬間倒下了一大片。其余的也被鬼子機槍死死的壓制在窯洞附近。警衛連長唐萬成也被壓制在一個土坎后面，皺著眉頭辯聽著鬼子機槍掃射的規律與強度，幾分鐘后，他聽出了對面窯洞中的鬼子武備比較強大，最少5挺機槍，還連帶幾十支步槍的射擊聲音。在這片狹窄的“開闊地”直接面對鬼子機槍沖鋒，成功幾率幾乎沒有。
唐萬成弄明白鬼子的軍械武力后，帶領一個班的戰士乘黑暗掩護，悄悄爬到了窯洞左側的一個斜坡上，隨后從斜刺里猛然壓了下去。沖到了里窯洞口不遠處，到了投彈距離，立刻率領著這班人馬猛然投出了手榴彈。
“轟！轟！轟！”十幾枚手榴彈相繼爆炸，絕大部分手榴彈掉到了防彈壕里，只有一枚準確的投入了一孔窯洞中轟然爆炸。爆炸聲起，鬼子的射擊嘎然而止。原本被壓制的抬不起頭來的戰士們蜂擁爬起，借著手榴彈爆炸的火光和煙霧，吶喊著向窯洞沖去。
“嗒嗒嗒…”鬼子的機槍又一次叫喚起來，狡猾的鬼子兵在手榴彈爆炸時刻起停止了射擊，引誘八路軍戰士誤以為機槍已被干掉，發起了沖鋒。
密集的彈雨又一次肆虐，正大步狂奔的八路粹不及防又被打倒了幾十個。
一輪彈雨過后，30多個鬼子兵哇哇叫著，持槍奔出窯洞，向傷亡慘重的警衛連發起了反沖鋒。
日軍兇狠異常，拼刺格斗技術全面優于八路軍，很快就與剩余的警衛連戰士撞到了一處，將傷殘累累的警衛連擠下了山坡。
隨后翻轉身向離窯洞口不遠處的唐萬成帶領的那一個班戰士沖來。
唐萬成率領戰士們馬上將注意力從窯洞口邊抽了回來，臥倒在地架起槍支向向自己沖來的鬼子還擊。一梭子彈打過去，翻倒了幾個鬼子，但其余的鬼子借助各種掩護，依然跳躍著逼來。
離唐萬成最近的一孔窯洞剛挨了一顆手榴彈，沉寂了半天，戰士們來不及檢驗戰果，見窯洞中半天沒有出聲，以為安全沒在意。大意之下誰也沒注意被炸爛了的窗戶上邊又顫巍巍伸出了一挺機槍的槍口。
“嗒嗒嗒…”鬼子機槍在近距離又一次吼叫起來，唐萬成所帶的一個班被窯洞中側射火力打中，5、6個戰士煞那間陣亡。唐萬成被打中右臂，機槍落地。一個排長趁鬼子換彈匣的功夫，撿起機槍，照著沖上來的鬼子又打出一梭子彈，稍微阻止了一下鬼子的迫近。
己方優勢已失，唐萬成急促下達撤退命令，帶領還剩下的幾個戰士從側坡滾下，撤離了窯洞范圍。
這一次短促的接觸仗，八路軍又一次吃了不小的虧。
團長歐致富一看情況不妙，立即命令各營暫停攻擊，等待大部隊發起攻擊后，再行攻擊。
一時間，響徹關家垴上的槍聲停歇了下來，雙方都在快速的搶救傷員，不再進行接觸了。
凌晨3時30分，決死第一縱隊三十八團就位，他們將擔任攻打柳樹垴的任務。
攻擊發起前一刻，彭總親自來到該團陣地前沿進行動員，借著東方的魚肚白，彭總掃視了一眼在山谷中整齊列隊的38團全體官兵，用其雄渾的嗓門向戰士們喊道：“同志們，你們決死隊，要向誰決死呀？”
“向日本鬼子！”戰士們異口同聲，巨大的聲浪回蕩在山谷之中，驚得柳樹垴頂的鬼子伸頭伸腦向下看。
彭總滿意地點了點頭。他用手指著日軍的陣地說：“好！前面打仗的地方，有好幾百個日本鬼子被我們包圍了。我們今天要消滅他們，你們就是要向他們去決死。我們抗日根據地有一條規定，凡是沒有帶路條的人，就不能讓他走。”
八路軍副總司令親自作戰前動員，這讓決死第一縱隊38團的指戰員備受鼓舞，他們的戰斗情緒一下就被調動起來了，他們迅速回應：“堅決消滅日本鬼子！”
當總攻信號發起后，早已鉚足了勁的38團指戰員迅速向柳樹垴沖去。雙方隨即在柳樹垴展開了激烈的爭奪和反爭奪。經過兩個小時的激戰，決死第一縱隊38團終于在天亮時搶占了柳樹垴，消滅了垴頂堅守的鬼子一個小隊。
在決死第一縱隊38團攻擊柳樹垴的同時，八路軍其他各部又向關家垴之敵發起了攻擊。由于地形過于復雜險要，日軍武器又精良，八路軍每攻下一個陣地、每前進一步都要付出不小的代價。日軍雖然傷亡不小，但沒有撤離逃跑的意思。顯然，他們知道，一撤離陣地就必然會遭到數倍于己的八路軍的分割包抄而被殲滅，他們要利用關家垴的有利地形，困守待援。
柳樹垴的硝煙還未散去，時間6時30分，馬遷安率領著運送武器與彈藥的新3團兩個連與騎兵連風塵仆仆的趕到了柳樹垴東坡谷底。
最后的路段是馬遷安領的，他故意讓向導將這一支馬隊領到了柳樹垴的東側。從黃崖洞出發后，坐在搖晃的馬背上，馬遷安就一直思索琢磨這個引起后世巨大爭議的關家垴戰斗。
從戰略戰術與政治意義上考慮，消滅一支在根據地里橫沖直撞的鬼子部隊都成為必要與必須。政治意義無須多言，在百團大戰第一第二階段取得巨大戰績的八路軍，突然被鬼子突進根據地大肆燒殺破壞，反了一個重重的耳光，這是可忍孰不可忍！任由鬼子肆虐，根據地民眾將怎么看八路軍？會不會以為八路軍外強中干，前期所取得的戰果和成績為虛假宣傳？根據地外其他民眾，其他各方勢力怎么看？是否會認為八路軍只會小打小鬧，不是一支可以扭轉乾坤的隊伍？不打，政治上損失太大了。
況且，最重要的一點就是不能慣著鬼子，不把他打痛，他就會一直咬著你不放，把他打痛，鬼子就會老實一會兒，利于根據地發展。正所謂一拳不打，百拳來。不亮出獠牙狠咬一口，各方勢力就會認為你是小綿羊，欺負你沒商量。
但這場戰斗的結果卻不盡如人意，據陳旅長回憶，我軍傷亡2000余人（其中陣亡1000多人），新十旅旅長阻援戰斗中負傷，16團團長謝家慶率隊攻擊時陣亡，一大批營連長戰斗骨干犧牲。日軍陣地遺尸280余具（其中有大尉軍官2人、中、少尉軍官5人），另外還有三大堆骨灰。我軍俘虜日傷兵2人，繳獲步槍50多只，輕重機槍6挺。而據福岡刑務所作業課平成０２年０７月２０日(1990年)發行的《晉南第八中隊史－第37師團歩兵第226聯隊史（作者三島啟介）中第132頁才田升（岡崎支隊長的最后時刻）上記載，日軍原有500多人，最后僅剩下203名（其中關家垴上剩61名，柳樹垴上剩142名），岡崎中佐以下300多名日軍戰死。
最主要的是彭總戰前設定的要讓鬼子再也不敢以一個大隊為規模的隊伍進行掃蕩的目的沒達成。此戰過后，日軍一個大隊深入根據地曾占據根據地腹心的一個縣城長達數年。
既然戰斗已按原軌跡展開，馬遷安也沒有辦法阻止，那么他只能做力所能及的事情了。據他的回憶，本場戰斗有兩個關鍵的節點可以扭轉戰斗結果，一個節點是30日早晨38團攻克柳樹垴后，并未對柳樹垴進行土木作業，致使垴頂隱蔽點少，這樣的部署造成了一個預想不到的結果，上午9時左右，日軍6架飛機趕來助戰，轟炸了已被八路軍占據的柳樹垴，為減少傷亡，38團駐守部隊疏散下山，垴頂成了空白之地，而預計接替陣地的25團還未準備好，此時關家垴上的岡崎觀察到這種情況，趁機派了一個中隊加一個機槍分隊約200人的部隊，乘各部八路軍躲避轟炸，暫停進攻疏于防守的時刻猛然沖上柳樹垴。此后就一直牢牢控制制高點，八路軍3個營的兵力重新進攻柳樹垴，反復沖擊十幾次未果。日軍從而將關家垴南坡射界控制，致使八路軍不能從南坡進攻，只能從另幾個不利于進攻方向的方位進攻關家垴，大大增加了攻擊難度，增加了傷亡。