История собора началась в 1825 году, когда командующий Черноморского флота адмирал А. С. Грейг подал прошение императору Александру I установить памятник на развалинах Херсонеса, в котором был крещён князь Владимир. В 1829 году был объявлен конкурс на создание памятника. Утверждение получил проект архитектора К. А. Тона (1794—1881) — крестово-купольный пятиглавый кубовидный храм в русско-византийском стиле. В 1842, по ходатайству адмирала М. П. Лазарева, обеспокоенного недостаточным числом православных храмов в Севастополе, было принято решение о строительстве собора в центре города, а не на развалинах Херсонеса.

Подготовительные работы начались в 1848 году. Через три года, в 1851, умер адмирал М. П. Лазарев, командующий Черноморского флота, и в память о его заслугах решено было похоронить его в специально сооруженном склепе на месте будущего собора. Закладка собора была произведена 15 июля 1854, и к началу осады Севастополя успели возвести только фундамент.

Во время Крымской войны в склепе будущего храма были захоронены адмиралы В. А. Корнилов, В. И. Истомин, П. С. Нахимов, погибшие на бастионах Севастополя.

После Крымской войны, в 1862, работы по возведению собора возобновились. Для этого пригласили известного архитектора, академика А. А. Авдеева (1818—1885). Он жил тогда в Севастополе, сооружал храм святого Николая на Братском кладбище (Северная сторона). Авдеев не был сторонником официального русско-византийского стиля с его обязательным пятиглавием, приверженцем которого был автор предшествующего проекта К. А. Тон. Академик Авдеев переработал проект К. А. Тона на основе изученной им действительно традиционной византийской церковной архитектуры. В 1881 году закончено сооружение нижней церкви, а в 1888 году, после смерти А. А. Авдеева — завершено строительство верхней.

В 1931 году при передаче здания Осоавиахиму склеп был вскрыт, останки адмиралов уничтожены. Во время Великой Отечественной войны храм серьезно пострадал. В 1991 году специальная комиссия обследовала склеп, и обнаружила среди мусора лишь обломки костей, которые в 1992 году были торжественно перезахоронены.