Виктор Гарбер родился в канадском городе Лондон, Онтарио, в еврейской семье российского происхождения. У него есть брат Натан и сестра Алиса. В двенадцатилетнем возрасте Виктору был поставлен диагноз сахарный диабет 1-го типа. Его родители скончались из-за осложнений, вызванных болезнью Альцгеймера. В возрасте 16 лет Гарбер поступил в Торонтский университет. Также он пробовал себя в пении, а в 1967 году собрал собственную музыкальную фолк-группу The Sugar Shoppe. Одной из первых его наиболее заметных работ в кино стала роль Грега в фильме 1993 года «Неспящие в Сиэтле».
