Hoe kunstmatige intelligentie helpt duizenden onbekende soldaten uit de Burgeroorlog te identificeren

Samuel Holmes Doten uit Plymouth, Massachusetts, was geboren op 5 juni 1812, dus nadat de Burgeroorlog in 1865 was afgelopen, grapte hij dat hij “in de infanterie had gediend in de oorlog van die datum.”

William Kendall Crossfield, een inwoner van Peterborough, N.H., rustte even uit tijdens de slag om Fredericksburg toen hij in zijn nek werd geschoten terwijl hij zich omdraaide. De deken die hij tot aan zijn kin had opgetrokken, ving op miraculeuze wijze de kogel op, maar hij raakte bewusteloos van de schok van de klap.

Vermonter Almeron C. Inman werd op 9 februari 1887 voorgedragen voor de Medal of Honor, “wegens intelligente koelbloedigheid en dapperheid” in twee gevechten in 1864. Na drie maanden vermist te zijn geweest in 1895, werd hij dood aangetroffen, vermoedelijk door zelfmoord.

De drie mannen hadden verschillende verhalen over de Burgeroorlog, maar ze hadden ook iets gemeen: zoals velen die tijdens dat conflict vochten, werden ze in uniform gefotografeerd. Er werden meerdere kopieën van de foto’s gemaakt, en sommigen werden ontdaan van identificerende informatie. Hun gezichten werden naamloze symbolen in plaats van deel uit te maken van concrete levens. En een paar van die foto’s kwamen terecht bij David Morin in Exeter, N.H., die een collectie van meer dan 260 militaire foto’s uit de Burgeroorlog heeft.

Tot nu toe bleven deze drie mannen een mysterie voor hem – maar in de loop van het afgelopen jaar heeft hij ze geïdentificeerd met behulp van Civil War Photo Sleuth, een website die gebruik maakt van gezichtsherkenningstechnologie, een vorm van kunstmatige intelligentie (A.I.), om de mannen op dergelijke foto’s te identificeren. En in 2020 wil de site, na een succesvolle test, een nieuwe functie toevoegen: een manier voor gebruikers om second opinions te krijgen over potentiële foto’s.

“Vandaag de dag is de geschiedenis zoveel beter gedocumenteerd en de kans dat dingen blijven voortbestaan is zoveel groter,” zegt Morin.

De Burgeroorlog begon 158 jaar geleden, maar de markt voor fotocollecties van de Burgeroorlog is relatief nieuw, volgens Ron Coddington, een van de medewerkers van de site en de uitgever en redacteur van het tijdschrift Military Images. Er zijn foto’s van eerdere Amerikaanse militaire conflicten, maar de Burgeroorlog wordt beschouwd als de eerste systematisch gefotografeerde oorlog, die een nieuw tijdperk van fotojournalistiek in Amerika inluidde. Maar tegen de tijd dat in 1961 de honderdste verjaardag van het begin van de Burgeroorlog werd gevierd, waardoor een nieuwe golf van belangstelling voor het conflict ontstond onder geschiedenisfanaten, waren albums uit die periode steeds meer in het bezit van verzamelaars in plaats van particuliere families. Bij die overgang is veel informatie over de foto’s verloren gegaan. Hoewel er in de jaren tachtig boeken over foto’s uit de Burgeroorlog uitkwamen met biografische basisinformatie, hadden veel verzamelaars geen gemakkelijke manier om de namen te achterhalen van de mensen op de foto’s die ze bezaten.

Verzamel uw geschiedenis op één plek: schrijf u in voor de wekelijkse TIME History nieuwsbrief

De oprichter van Civil War Photo Sleuth, Kurt Luther, een professor Geschiedenis en Computerwetenschappen aan Virginia Tech, raakte in 2013 geïnteresseerd in fotografie van de Burgeroorlog nadat hij op een fotoalbum stuitte met een afbeelding van zijn betovergrootoom, die diende in compagnie E van het 134e Pennsylvania, in een tentoonstelling over de rol van Pennsylvania in de Burgeroorlog in het Senator John Heinz History Center in Pittsburgh. Toen hij meer te weten kwam over dergelijke foto’s, begon hij zich een Wikipedia voor foto’s uit de Burgeroorlog voor te stellen – een bron waaraan iedereen kon toevoegen, en die zou helpen uitzoeken wie de mannen op de foto’s waren.

“Collecties weten vaak niet wat ze hebben,” zegt hij. “Ze hebben foto’s uit de Burgeroorlog, maar ze weten niet eens hoe ze eraan zijn gekomen.”

Het resultaat was Civil War Photo Sleuth.

Als gebruikers een foto uploaden op de site, kunnen ze tags aanvinken over de kleur van de uniformjas, of in ieder geval of die “donker” of “licht” is, om de strijdkrachten van de Unie en de Confederatie uit elkaar te houden. De gebruiker kan aangeven of de foto een “back mark” heeft, die vaak de naam en locatie van de fotograaf bevatte, en of er een belastingstempel op staat – een belangrijke aanwijzing, want de regering hief belasting op foto’s van 1864-1866, om de oorlog te bekostigen. Bovendien wordt gebruikers gevraagd of er een insigne op de hoed of kraag zit, en of ze strepen of chevrons op het uniform zien en hoeveel, wat de rang van de man kan aangeven.

Gelijk aan de virale Google-app die kunstwerken vond die leken op de selfies van gebruikers, gebruikt de gezichtsherkenningstechnologie voor Civil War Photo Sleuth een set van 27 gezichtskenmerken, zoals de mondhoeken of het puntje van de neus, om een gegeven foto te analyseren. Gezichten hebben verschillende verhoudingen, dus berekent de software verschillende afstanden tussen gezichtskenmerken in het geüploade portret – zoals de afstand tussen de linkerpupil en de rechterpupil – en zoekt dan naar foto’s met vergelijkbare afstanden tussen verschillende gezichtskenmerken. (Soms kunnen verkleuring of gaten in dergelijke oude afbeeldingen deze gezichtskenmerken verdoezelen en identificaties verhinderen.)

De site haalt vervolgens eerder geüploade afbeeldingen op die overeenkomen met de nieuwe, met de hoop dat een van de matches zal helpen de man op de foto te identificeren.

Hoe meer foto’s worden geüpload, hoe groter de kans dat een match wordt gevonden, en het Civil War Photo Sleuth-team voegt foto’s uit de Library of Congress en andere collecties toe om de waarschijnlijkheid van matches te vergroten. Sinds de lancering in augustus 2018 zijn bijna 30.000 foto’s aan de site toegevoegd door bijna 14.000 geregistreerde gebruikers, waaronder medewerkers van de Library of Congress en de National Archives. Er zijn iets meer dan 3.300 identificaties gemaakt, waaronder foto’s in de collecties van de New York Public Library, de Massachusetts Historical Society en het Henry Ford-museum in Michigan. De site won ook de Cloud AI Research Challenge van 25.000 dollar van Microsoft en een subsidie van de National Science Foundation.

Maar ondanks de geavanceerde technologie is menselijk onderzoek nog steeds van cruciaal belang om de resultaten van de app te bevestigen. Toen Morin bijvoorbeeld een foto uploadde van een ongeïdentificeerde tweede luitenant van de Unie met een Manchester, N.H., rugmerk op de foto, was hij verrast om te zien dat het top aanbevolen resultaat van de site William H. Baldwin was, die diende in een New York engineering regiment in plaats van een New Hampshire regiment. Nader onderzoek wees uit dat hij uit New Hampshire kwam, maar in New York diende.

Toen Dave Morin, een verzamelaar uit New Hampshire, een foto uploadde, was de top-match William H. Baldwin, die in een N.Y. engineering regiment diende.
Courtesy of Ron Coddington

Het systeem is niet perfect: identificaties die door de site worden gesuggereerd kunnen gewoon de beste gok zijn van een andere uploader, en het is onduidelijk of elke gebruiker vervolgonderzoek heeft gedaan om de identificaties te bevestigen. Maar op basis van een onderzoek naar een maand activiteit, uitgevoerd door Luther en zijn team, wordt het nauwkeurigheidspercentage geschat tussen 75% en 80%.

En verzamelaars hebben een reden om de database uit te willen breiden, meer dan alleen nieuwsgierigheid, omdat geïdentificeerde foto’s beter verkopen. “De afbeelding stijgt 50% in waarde,” zegt Tom Liljenquist, die verzamelt voor de collectie van zijn familie van meer dan 2.500 portretten.

Luther’s motieven zijn ook altruïstisch. De mensen achter de site hopen dat ze met het identificeren van foto’s van de Burgeroorlog ook nieuwe manieren zullen vinden om deze geschiedenis te vertellen – inclusief, zegt Coddington, manieren waarop deze technologie kan worden toegepast op verhalen en foto’s van vrouwen en gekleurde mensen, aangezien het verhaal van de Burgeroorlog vaak wordt verteld vanuit het perspectief van blanke soldaten uit de Unie.

“We trokken ten strijde en het was verwoestend, en ik kan het niet helpen te denken dat, als we in staat waren blootgesteld te worden aan deze verhalen over de tol, de prijs die we ervoor betaalden,” zegt Coddington, “we misschien anders zouden denken over hoe we onze verschillen oplossen.”

Ontvang onze Geschiedenis Nieuwsbrief. Plaats het nieuws van vandaag in context en bekijk hoogtepunten uit de archieven.

Dank u!

Voor uw veiligheid hebben we een bevestigingsmail naar het door u opgegeven adres gestuurd. Klik op de link om uw inschrijving te bevestigen en onze nieuwsbrieven te beginnen ontvangen. Als u de bevestiging niet binnen 10 minuten ontvangt, controleer dan uw spam-map.

Schrijven naar Olivia B. Waxman op [email protected].

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *