“Powderfinger” é a primeira canção da segunda, eléctrica, do lado de Rust Never Sleeps. O crítico de Allmusic Jason Ankeny descreve a canção, seguindo a melodia do álbum, o primeiro lado acústico, como “uma metamorfose súbita, quase cega, que é inteiramente o ponto – é o tiro que você nunca viu chegar”. A letra é a narração póstumo de um jovem que tenta proteger sua família contra uma canhoneira que se aproxima. Ele percebe que todos os homens mais velhos não estão disponíveis, deixando-o “a pensar”. Após a indecisão inicial, ele acaba por agir e acaba por ser morto. Ele descreve a sua morte com a linha horripilante “a minha cara salpica no céu”. Johnny Rogan descreve o último verso como o “epitáfio em movimento”:

Pense em mim como alguém que você nunca imaginou que desapareceria tão jovem Com tanta coisa por fazer Lembre-se de mim para o meu amor; eu sei que vou sentir falta dela

As linhas sobre desaparecer tão jovem ecoam a linha “é melhor queimar do que desaparecer”, que Young canta na música de abertura de Rust Never Sleeps, “My, Hey Hey (Out of the Blue)”. Ankeny sente que a narrativa em primeira pessoa da canção “evoca histórias populares tradicionais”, mas a música é “rock incendiário & roll”, e elogia as “proporções míticas” dos solos de guitarra de Young à medida que a história se aproxima da sua “pungente” conclusão. O crítico de música Allmusic William Ruhlmann descreveu a música como “notável”, considerando-a a melhor das grandes canções de Rust Never Sleeps. Rogan descreve-a como uma das “grandes canções narrativas de Young” e “quase cinematográfica em execução”. Rogan também elogia o apoio de Crazy Horse como “ideal” e permite a Young “investir a canção com significado épico”. O crítico da Rolling Stone, Paul Nelson, comparou a violência da canção à cena do helicóptero com Robert Duvall no filme Apocalypse Now, na medida em que é “tanto chocante como apelativa – para nós e para o seu narrador – até ser tarde demais”. Segundo Nelson, ela gera tensão “traumatizante” e empatia e fascínio “insuportável” enquanto ele “aperta os parafusos do seu jovem herói com um pouco de guitarra galvanizada, enquanto Crazy Horse corta à solta com tudo o que eles têm”. Nelson aponta que a música incorpora “uma corda de notas ascendentes cortadas por um acorde descendente mortal”, o que o crítico Greil Marcus descreveu como “fatalismo em uma frase”.

Rolling Stone contribuindo editor Rob Sheffield chama de “Powderfinger” “um exorcismo de violência masculina com acordes de poder de espingarda subindo ao desafio do punk rock”. O autor Ken Bielen compara “Powderfinger” ao filme noir porque o narrador morreu antes do início da canção, e nota que a canção “tem permanecido em alta consideração ao longo das décadas”. Bielen considera o tema como “a trágica e esbanjadora perda de jovens para conflitos entre países e seus líderes”. Nelson sugere que, embora abra o lado Crazy Horse rock ‘n’ roll do Rust Never Sleeps, é a “mais pura narrativa folclórica” do álbum. Na lista “500 Greatest Albums of All Time” da Rolling Stone eles declaram que em “Powderfinger” “A guitarra do Young bate no céu como nunca antes”. O crítico Dave Marsh afirmou que “Young escreveu uma declaração tão brilhante de niilismo e desespero americano como qualquer escritor de rock criou”.”