Джеймс Хонг родился в Миннеаполисе, штат Миннесота. Начальное образование получил в Гонконге, вернувшись в США в возрасте десяти лет. Хонг стал изучать гражданское строительство в Университете Южной Калифорнии, но позднее его заинтересовало актерское ремесло. Закончив университет, он в течение семи с половиной лет был инженером дорожного строительства в Лос-Анджелесе, снимаясь во время отпусков. Хонг решил бросить инженерное дело, чтобы полностью посвятить себя актерской карьере.