В 1984 году к группе в качестве второго вокалиста присоединился брат Сабины, Том, но продержался в коллективе только 4 недели.

Свой дебютный альбом «Queen of Siam» группа выпустила только в 1986 году. В записи принимал участие новый барабанщик группы Герберт Дрегер, а продюсером выступил Ральф Хьюберт из Mekong Delta. После записи группа снова поменяла барабанщика. На этот раз им стал Ули Куш (будущий участник Helloween). Но на этом смены состава не закончились. Внезапно группу покидает Рамон, басист и основатель группы.

Следующим альбомом группы становится «Finished With The Dogs», выпущенный в 1987 году. Все песни на нём были написаны Энди Классеном. Альбом получил очень хорошие отзывы от музыкальных критиков и журналов по всему миру, что привлекло внимание Warner Brothers Records, одного из крупнейших музыкальных лейблов. После заключении сделки с этой компанией, Holy Moses отправляются в тур при поддержке DRI.

Следующий альбом группы получил название «The New Machine Of Lichtenstein» и вышел в 1989 году. После выпуска альбома группа отправилась в своё самое крупное турне вместе с Forbidden и Sacred Reich. Вскоре проблемы с лейблом заставили Holy Moses уйти на менее мажорный West Virginia/SPV. На нём и был выпущён следующий полноформатник коллектива «World Chaos». Сразу после выпуска этого альбом из группы уходит барабанщик. Некоторое время его заменял Атомик Штайф, но и он ушёл из группы, решив продолжить свою карьеру в другой культовой немецкой трэш-метал группе Sodom.

В 1991 году выходит очередной альбом «Terminal Terror» на West Virginia, а в 1992 году после записи «Reborn Dogs» группа распалась.В 1993 году у группы вышел сборник лучших вещей «Too Drunk To Fuck».В 1994 году Энди Классен, будучи композитором и продюсером выпускает альбом «No Matter What’s The Cause» под маркой Holy Moses. Через год Энди и Сабина развелись.После ухода из Holy Moses Сабина основала группу Temple Of The Absurd, которая выпустила два альбома: «Absurd» (1995) и «Mother, Creator, God» (1999), а затем и она прекратила своё существование.

После распада Temple Of The Absurd Сабина и Энди помирились и стали совместно работать над новым материалом. Первым продуктом реюниона стал EP «Master of Disaster», а в 2002 году вышел новый альбом «Disorder of the Order». Весь оставшийся год группа активно выступала с концертами. После тура Энди Классен объявил, что больше не может заниматься только Holy Moses, так как должен продюсировать другие группы. Новым гитаристом и продюсером Holy Moses стал Майкл Ханкель, друг Энди. С ним группа записала новый альбом «Strength, Power, Will, Passion».В 2007 году барабанщик Атомик Штайф вновь вернулся в группу для записи нового альбома.В 2008 году группа провела успешный тур вместе с Obituary и Avatar. Осенью 2008 года вышел десятый альбом группы, получивший название «Agony of Death».