Die 4. USA Farbige Infanteriekompanie E, Andersonville National Historic Site, 1865.

In einer Zeit, in der viele Afroamerikaner in weiten Teilen des Landes versklavt und sogar als Eigentum betrachtet wurden, hatte James H. Gooding eine bemerkenswerte Vision von Gleichheit und den Mut, dafür zu kämpfen. James Henry Gooding wurde 1838 in North Carolina in die Sklaverei geboren. Seine Freiheit wurde erkauft, als er noch sehr jung war, von James M. Gooding (der möglicherweise sein Vater war). Der junge James wurde nach New York City geschickt. Im Alter von 8 Jahren schrieb er sich als Schüler im NY Colored Orphan's Asylum ein, einer renommierten Schule mit Internat. Dort erhielt er eine klassische Ausbildung und entwickelte sich zu einem talentierten und eloquenten Schriftsteller. Im Jahr 1856 nahm Gooding im Alter von 18 Jahren einen Job an Bord eines Walfangschiffes an. Der Walfang war eine der wenigen Industrien, in denen afroamerikanische Männer mit weißen Männern gleichberechtigt waren. Er verdiente sogar 20 Dollar pro Monat, was dem Gehalt eines Schiffsoffiziers entspricht! Im Herbst 1862 gab er den Walfang auf, ließ sich in New Bedford, MA nieder und heiratete Ellen Allen. Nur 6 Tage vor der Hochzeit verkündete Präsident Lincoln die Emanzipationsproklamation. Diese exekutive Anordnung enthielt erstmals die Erlaubnis für schwarze Männer, sich in der Union Army and Navy anzumelden, und trat am 1. Januar 1863 in Kraft. Also meldete sich Gooding sechs Wochen später zur 54. Infanterie von Massachusetts. In dem Wissen, dass er es mit einem Feind zu tun haben würde, der ihn als Eigentum oder Schlimmeres betrachtete, folgte er nach nur wenigen Monaten Ehe trotzdem dem Ruf, sein Land zu verteidigen.