В 1891 году окончил Николаевскую академию генерального штаба по первому разряду, после чего служил в штабах различных военных округов. Принимал участие в русско-японской войне, командовал 3-м пехотным Нарвским полком. В 1907 году получил звание Генерал-майора.

В Первую Мировую командует пехотной дивизией, но в 1915 году получает тяжёлую контузию и после реабилитации получает назначение на должность начальника штаба Омского военного округа.

После Февральской революции одним из первых переходит на сторону народа. В апреле 1917 г. он поддержал предложение омских большевиков о передаче управления войсками комитетам, что позволило революционным силам вывести солдатские массы из-под влияния враждебного революции командования.

 
Омский военно-окружной комитет и командование военного округа. Сидит крайний справа А. А. Таубе. 1917 год

После Октябрьской революции Таубе вместе с руководителями омских большевиков формирует и укрепляет отряды Красной гвардии. Весной 1918 года из Омска выдвигаются первые красноармейские части, направленные на борьбу с белыми атаманами Семёновым и Дутовым.

После восстания Чехословацкого корпуса Таубе становится членом Сибирского верховного военного командования. Военные специалисты противника отмечали, что упорство, с которым сопротивляется Сибирская Красная Армия, в большой степени является результатом умелого руководства главковерха советских войск в Сибири опытного генштабиста и боевого генерала барона Таубе.

После падения Советской власти в Сибири Таубе пытался по поддельным документам пробраться в Москву, чтобы доложить Ленину о положении дел в регионе. Но 2 сентября 1918 года он был арестован белогвардейцами в Бодайбо и приговорён военно-полевым судом в Екатеринбурге к смертной казни.

Ему предлагали публично отказаться от большевизма и обещали высокий пост в белогвардейских войска. Но Таубе ответил так:

Мои седины и контуженные ноги не позволяют мне идти на склоне лет в лагерь интервентов и врагов трудящейся России.

Умер Александр Александрович Таубе в январе 1919 года, закованным в кандалы в одиночной камере смертников екатеринбургской тюрьмы от сыпного тифа.

 
Мемориальная доска А.А. Таубе. г. Омск, улица Таубе дом 7А

В Омске на здании, в котором размещался штаб округ (ныне — Музей боевой славы омичей), установлена мемориальная доска в честь сибирского красного генерала Александра Александровича фон Таубе.