„Powderfinger“ ist der erste Song der zweiten, elektrischen Seite von Rust Never Sleeps. Allmusic-Kritiker Jason Ankeny beschreibt den Song, der auf die sanftere, akustische erste Seite des Albums folgt, als „eine plötzliche, fast überrumpelnde Metamorphose, was genau der Punkt ist – es ist der Schuss, den man nicht kommen sah.“ Der Text ist die posthume Erzählung eines jungen Mannes, der versucht, seine Familie vor einem herannahenden Kanonenboot zu schützen. Er stellt fest, dass alle älteren Männer nicht zur Verfügung stehen und ihm „das Denken überlassen“. Nach anfänglicher Unentschlossenheit ergreift er schließlich die Initiative und wird dabei getötet. Er beschreibt seinen Tod mit der grausamen Zeile „my face splash in the sky“. Johnny Rogan beschreibt die letzte Strophe als das „bewegende Epitaph“ der Figur:

Just think of me as one you never figured Would fade away so young With so much left undone Remember me to my love; I know I’ll miss her

Die Zeilen über das Verblassen in jungen Jahren erinnern an die Zeile „it’s better to burn out than to fade away“, die Young im Eröffnungssong von Rust Never Sleeps, „My My, Hey Hey (Out of the Blue)“ singt. Ankeny ist der Meinung, dass die Ich-Erzählung des Songs „an traditionelle Folk-Geschichten erinnert“, aber die Musik ist „feuriger Rock & Roll“, und lobt die „mythischen Ausmaße“ von Youngs Gitarrensoli, wenn sich die Geschichte ihrem „erschütternden“ Ende nähert. Allmusic-Kritiker William Ruhlmann beschreibt den Song als „bemerkenswert“ und hält ihn für den besten der großen Songs auf Rust Never Sleeps. Rogan beschreibt ihn als einen von „Youngs großen erzählerischen Songs“ und „fast filmisch in der Ausführung“. Rogan lobt auch die Unterstützung von Crazy Horse als „ideal“, die es Young erlaubte, „dem Song eine epische Bedeutung zu verleihen“. Der Kritiker des Rolling Stone, Paul Nelson, verglich die Gewalt in dem Song mit der Hubschrauberszene mit Robert Duvall in dem Film Apocalypse Now, da sie „sowohl erschreckend als auch ansprechend ist – für uns und für den Erzähler – bis es zu spät ist“. Laut Nelson erzeugt sie eine „traumatisierende“ Spannung und „unerträgliche“ Empathie und Faszination, wenn er „die Schrauben an seinem jugendlichen Helden mit einem galvanisierenden Gitarrenspiel anzieht, während Crazy Horse mit allem, was sie haben, loslegt“. Nelson weist darauf hin, dass die Musik „eine Reihe von aufsteigenden Noten enthält, die von einem tödlichen absteigenden Akkord abgeschnitten werden“, was der Kritiker Greil Marcus als „Fatalismus in einer Phrase“ bezeichnete.

Rolling Stone-Redakteur Rob Sheffield nennt „Powderfinger“ „einen Exorzismus männlicher Gewalt mit Schrotflinten-Power-Akkorden, die sich der Herausforderung des Punk-Rock stellen“. Der Autor Ken Bielen vergleicht „Powderfinger“ mit dem Film Noir, weil der Erzähler bereits gestorben ist, bevor der Song beginnt, und stellt fest, dass der Song „über die Jahrzehnte hinweg in hohem Ansehen geblieben ist“. Bielen sieht das Thema als „den tragischen und verschwenderischen Verlust der Jugend durch Konflikte zwischen Ländern und ihren Führern“. Nelson meint, dass der Song, obwohl er die Rock’n’Roll-Seite von Rust Never Sleeps eröffnet, die „reinste Folk-Erzählung“ des Albums ist. In der Liste der 500 größten Alben aller Zeiten“ des Rolling Stone heißt es, dass Youngs Gitarre auf Powderfinger“ den Himmel trifft wie nie zuvor“. Der Kritiker Dave Marsh behauptete, dass „Young ein so brillantes Statement des amerikanischen Nihilismus und der Verzweiflung geschrieben hat, wie es kein anderer Rockautor je geschafft hat.“