В формировании хард-рока важнейшую роль сыграла психоделическая волна, захлестнувшая к концу 1960-х годов США и Европу, и обогатившая рок-музыку множеством новых приёмов — музыканты искали новых средств выражения своих чувств, эмоций и мыслей. В середине 60-х, в ходе бесконечных экспериментов со звучанием, появился метод звукоизвлечения, при котором усилительное оборудование перегружалось, что давало в результате мощный рычащий звук — т. н. овердрайв (англ. Overdrive). Этот эффект стали использовать многие исполнители, однако вывести на передний план его удалось именно группам тяжёлого рока, который стал ассоциироваться именно с перегруженным звучанием гитар.

В истоках хард-рока стояла не только психоделия. Так, участники Black Sabbath в самом начале существования группы предполагали играть джаз, первый альбом Led Zeppelin можно отнести и к чистому блюз-року, а в записях Deep Purple первого состава прослеживается увлечение классической музыкой (так, альбом «Concerto for Group and Orchestra» — «Концерт Для Группы С Оркестром» — был записан как классическое симфоническое произведение, смешанное с рок-саундом самой группы).

Некоторые работы групп хард-рока можно отнести и к прогрессивному року, так как «тяжесть» звучания иногда сопровождалась сложными музыкальными партиями, длительными виртуозными соло и импровизациями (особенно на концертах). В этом отношении показателен пример британской группы Wishbone Ash, чьи продолжительные, многочастные композиции находятся на стилистической грани между прогрессивным и тяжелым роком, а их «фирменная» гитарная техника «двойного солирования» вдохновила множество других групп хард-рока, а в дальнейшем и хэви-метала. Другим примером могут служить ранние работы Deep Purple, в которых стандартный набор музыкальных средств выразительности, таких как виртуозные импровизации и затяжные соло, расширен активным использованием симфонического оркестра и сложными аранжировками. В концертных выступлениях некоторых групп встречаются длительные (более 10 минут) инструментальные фрагменты с обилием соло и импровизаций (например, на концертном альбоме Deep Purple 1972 года «Made in Japan»).

Так же как и в психоделии, главенствующим инструментом хард-рока является электрогитара, но наряду с ней часто используются и клавишные (в особенности орган Хаммонда). Длинные сольные партии инструментов хард-рок так же перенял от психоделии, однако теперь их могут исполнять не только лидирующие инструменты, но и ритм секция — бас-гитара и ударные. Общее увеличение значения ритм-секции становится характерной чертой жанра. Слаженная работа ударника и бас-гитариста стала играть намного большую роль, так как теперь они наравне с соло-гитаристом и клавишником участвовали в процессе импровизации и должны были поддерживать плотное, «драйвовое» звучание.

Одним их основных мелодических приёмов становится техника риффов — короткие повторяющиеся музыкальные партии гитары. Риффы стали отличительной особенностью хард-рока и, позднее, хэви-метала. В максимально упрощённом варианте риффы играются на протяжении всей композиции, и поддерживают ритм-секцию, нередко попадая в унисон с линией бас-гитары. Риффы являются ритмической основой для вокала либо другого солирующего инструмента, если таковой присутствует в группе. При малых составах (гитара, бас и ударные) исполнение риффов прерывается обычно только для исполнения соло электрогитары. Как пример можно привести чрезвычайно знаменитый и узнаваемый и, вследствие этого, заезженный рифф из композиции «Smoke On The Water» группы Deep Purple. По словам фанатов, благодаря этому риффу композиция стала «гимном» тяжелой рок-музыки. Другие наиболее знаменитые и характерные хард-рок-риффы — «Heartbreaker» Led Zeppelin, «Iron Man» Black Sabbath.