“Powderfinger” is het eerste nummer van de tweede, elektrische, kant van Rust Never Sleeps. Allmusic-recensent Jason Ankeny beschrijft het nummer, na de rustiger, akoestische eerste kant van het album, als “een plotselinge, bijna verblindende metamorfose, wat precies de bedoeling is – het is het schot dat je nooit zag aankomen.” De teksten zijn het postume relaas van een jongeman die zijn familie probeert te beschermen tegen een naderende kanonneerboot. Hij realiseert zich dat alle oudere mannen niet beschikbaar zijn, waardoor hij “het denkwerk” moet doen. Na aanvankelijke besluiteloosheid gaat hij uiteindelijk tot actie over, en wordt uiteindelijk gedood. Hij beschrijft zijn dood met de gruwelijke regel “my face splash in the sky.” Johnny Rogan beschrijft het laatste couplet als het “ontroerende grafschrift” van het personage:

Just think of me as one you never figured Would fade away so young With so much left undone Remember me to my love; I know I’ll miss her

De regels over het zo jong wegkwijnen echoën de regel “it’s better to burn out than to fade away”, die Young zingt op het openingsnummer van Rust Never Sleeps, “My My, Hey Hey (Out of the Blue)”. Ankeny vindt dat het eerstepersoonsverhaal van het nummer “traditionele folkverhalen oproept” maar de muziek is “opruiende rock & roll”, en prijst de “mythische proporties” van Young’s gitaarsolo’s als het verhaal zijn “schrijnende” ontknoping nadert. Allmusic criticus William Ruhlmann beschreef het nummer als “opmerkelijk”, en beschouwde het als het beste van de grote nummers op Rust Never Sleeps. Rogan beschrijft het als één van “Young’s grote verhalende songs” en “bijna filmisch in uitvoering”. Rogan prijst ook Crazy Horse’s backing als “ideaal” en Young in staat stellend “het nummer te investeren met epische betekenis”. Rolling Stone criticus Paul Nelson vergeleek het geweld in het nummer met de helikopterscène met Robert Duvall in de film Apocalypse Now in die zin dat het “zowel ontstellend als aantrekkelijk is – voor ons en voor zijn verteller – tot het te laat is.” Volgens Nelson genereert het “traumatiserende” spanning en “ondraaglijke” empathie en fascinatie als hij “de schroeven aandraait bij zijn jeugdige held met wat galvaniserend gitaarspel, terwijl Crazy Horse losgaat met alles wat ze hebben.” Nelson wijst erop dat de muziek “een reeks stijgende noten bevat die worden afgekapt door een dodelijk dalend akkoord”, wat criticus Greil Marcus beschreef als “fatalisme in een zin”.

Rolling Stone redacteur Rob Sheffield noemt “Powderfinger” “een exorcisme van mannelijk geweld met shotgun power akkoorden die de uitdaging van punk rock aangaan.” Auteur Ken Bielen vergelijkt “Powderfinger” met film noir omdat de verteller is overleden voordat het nummer begint, en merkt op dat het nummer “in hoog aanzien is gebleven door de decennia heen.” Bielen ziet het thema als “het tragische en verkwistende verlies van jeugd aan conflicten tussen landen en hun leiders. Nelson suggereert dat, hoewel het de Crazy Horse rock ‘n’ roll kant van Rust Never Sleeps opent, het de “puurste folk vertelling” van het album is. Op Rolling Stone’s “500 Greatest Albums of All Time” lijst stellen ze dat op “Powderfinger” “Young’s gitaar de hemel raakt als nooit tevoren.” Criticus Dave Marsh beweerde dat “Young net zo’n briljante verklaring van Amerikaans nihilisme en wanhoop schreef als welke rockschrijver dan ook heeft gemaakt.”