« Powderfinger » est la première chanson de la deuxième face, électrique, de Rust Never Sleeps. Le critique Allmusic Jason Ankeny décrit la chanson, qui suit la première face acoustique plus douce de l’album, comme « une métamorphose soudaine, presque aveuglante, ce qui est entièrement le but – c’est le coup que vous n’avez jamais vu venir ». Les paroles sont la narration posthume d’un jeune homme qui tente de protéger sa famille contre une canonnière qui approche. Il se rend compte que tous les hommes plus âgés ne sont pas disponibles, ce qui lui laisse « le soin de réfléchir ». Après une indécision initiale, il finit par passer à l’action, et est finalement tué. Il décrit sa mort avec le vers macabre « my face splash in the sky ». Johnny Rogan décrit le dernier couplet comme  » l’épitaphe émouvante  » du personnage :

Just think of me as one you never figured Would fade away so young With so much left undone Remember me to my love ; I know I’ll miss her

Les vers concernant le fait de s’éteindre si jeune font écho à la phrase  » it’s better to burn out than to fade away « , que Young chante sur la chanson d’ouverture de Rust Never Sleeps,  » My My, Hey Hey (Out of the Blue) « . Ankeny estime que le récit à la première personne de la chanson « évoque les contes folkloriques traditionnels » mais que la musique est « un rock &roll incendiaire », et loue les « proportions mythiques » des solos de guitare de Young alors que l’histoire approche de sa conclusion « déchirante ». Le critique Allmusic William Ruhlmann qualifie la chanson de « remarquable », la considérant comme la meilleure des grandes chansons de Rust Never Sleeps. Rogan la décrit comme l’une des « grandes chansons narratives de Young » et « presque cinématographique dans son exécution ». Rogan fait également l’éloge du soutien du Crazy Horse comme étant « idéal » et permettant à Young « d’investir la chanson d’une signification épique ». Le critique de Rolling Stone Paul Nelson a comparé la violence de la chanson à la scène de l’hélicoptère avec Robert Duvall dans le film Apocalypse Now en ce sens qu’elle est « à la fois effrayante et attirante – pour nous et pour son narrateur – jusqu’à ce qu’il soit trop tard ». Selon Nelson, elle génère une tension « traumatisante » ainsi qu’une empathie et une fascination « insupportables », car il « serre la vis à son jeune héros avec un jeu de guitare galvanisant, tandis que le Crazy Horse se déchaîne avec tout ce qu’il a ». Nelson souligne que la musique intègre « une chaîne de notes ascendantes coupées par un accord descendant mortel », ce que le critique Greil Marcus décrit comme « le fatalisme en une phrase ».

Rolling Stone contributing editor Rob Sheffield appelle « Powderfinger » « un exorcisme de la violence masculine avec des accords de puissance de fusil à pompe relevant le défi du punk rock. » L’auteur Ken Bielen compare « Powderfinger » à un film noir parce que le narrateur est mort avant le début de la chanson, et note que la chanson « est restée en haute estime au fil des décennies. » Bielen considère que le thème est « la perte tragique et inutile de la jeunesse à cause des conflits entre les pays et leurs dirigeants ». Nelson suggère que, bien qu’elle ouvre le côté rock ‘n’ roll du Crazy Horse dans Rust Never Sleeps, elle est le « récit folk le plus pur » de l’album. Dans la liste des « 500 plus grands albums de tous les temps » de Rolling Stone, on peut lire que sur « Powderfinger », « la guitare de Young frappe le ciel comme jamais auparavant ». Le critique Dave Marsh a affirmé que « Young a écrit une déclaration aussi brillante du nihilisme et du désespoir américains qu’aucun auteur de rock n’a créé ».