«Powderfinger» es la primera canción de la segunda cara, eléctrica, de Rust Never Sleeps. El crítico de Allmusic Jason Ankeny describe la canción, que sigue a la primera cara del álbum, más suave y acústica, como «una metamorfosis repentina, casi cegadora, que es totalmente el punto – es el disparo que nunca viste venir». La letra es la narración póstuma de un joven que intenta proteger a su familia contra un cañonero que se acerca. Se da cuenta de que todos los hombres mayores no están disponibles, dejándole a él «la tarea de pensar». Después de la indecisión inicial, finalmente pasa a la acción, y acaba siendo asesinado. Describe su muerte con la espantosa línea «mi cara salpica el cielo». Johnny Rogan describe el último verso como el «conmovedor epitafio» del personaje:
Piensa en mí como alguien que nunca imaginaste que se desvanecería tan joven Con tantas cosas sin hacer Recuérdame a mi amor; sé que la echaré de menos
Las líneas sobre el desvanecimiento tan joven hacen eco de la línea «es mejor quemarse que desvanecerse», que Young canta en la canción de apertura de Rust Never Sleeps, «My My, Hey Hey (Out of the Blue)». Ankeny opina que la narración en primera persona de la canción «evoca la narración folclórica tradicional», pero la música es «rock &roll incendiario», y elogia las «proporciones míticas» de los solos de guitarra de Young cuando la historia se acerca a su «desgarrador» final. El crítico de Allmusic William Ruhlmann describe la canción como «notable», considerándola la mejor de las grandes canciones de Rust Never Sleeps. Rogan la describe como una de «las grandes canciones narrativas de Young» y «casi cinematográfica en su ejecución». Rogan también elogia el respaldo de Crazy Horse como «ideal» y que permite a Young «investir la canción con un significado épico». El crítico de Rolling Stone Paul Nelson comparó la violencia de la canción con la escena del helicóptero con Robert Duvall en la película Apocalypse Now en el sentido de que es «a la vez espantosa y atractiva -para nosotros y para su narrador- hasta que es demasiado tarde». Según Nelson, genera una tensión «traumatizante» y una empatía y fascinación «insoportables», ya que «aprieta las tuercas de su héroe juvenil con un toque de guitarra galvanizante, mientras Crazy Horse se desata con todo lo que tiene». Nelson señala que la música incorpora «una cadena de notas ascendentes cortadas por un acorde descendente mortal», lo que el crítico Greil Marcus describió como «fatalismo en una frase».
El editor colaborador de Rolling Stone, Rob Sheffield, llama a «Powderfinger» «un exorcismo de la violencia masculina con acordes de potencia de escopeta a la altura del punk rock.» El autor Ken Bielen compara «Powderfinger» con el cine negro porque el narrador ha muerto antes de que comience la canción, y señala que la canción «se ha mantenido en alta estima a lo largo de las décadas». Bielen considera que el tema es «la trágica y derrochadora pérdida de la juventud por los conflictos entre países y sus líderes». Nelson sugiere que, aunque abre la vertiente rock ‘n’ roll de Crazy Horse, Rust Never Sleeps es la «narración folclórica más pura» del álbum. En la lista «500 Greatest Albums of All Time» de Rolling Stone afirman que en «Powderfinger» «la guitarra de Young toca el cielo como nunca antes». El crítico Dave Marsh afirmó que «Young escribió una declaración tan brillante del nihilismo y la desesperación estadounidenses como la que ha creado cualquier escritor de rock»
.