他の山鉾は、珍しいもの、新しいものを採り入れ、より立派なものへといった考え方に立っていたので、装飾に統一性のないものが多いのですが、この伯牙山は唯一中国風に統一された珍しい山です。前掛は中国明代の名品で、水引や胴掛、見送などは、日本製のものであっても図柄は中国風と、すべてが山の趣向に合わせ調和が図られた山です。

中国周代の琴の名手伯牙が、真に自分の琴を解してくれた友人が亡くなったことを嘆き、琴の弦を断って再び弾くことがなかったという『禁断の友』の話を趣向したという説と、晋の時代の琴の名手が、武陵王の召命を受けた時、一介の楽人として召されるのを潔しとせず、琴を割った故事によるという説がある。
御神体は手に斧を持ち、琴を今にも打ち破ろうと見おろしている。
維新前は『琴破山』と呼ばれたが、『保昌山』『郭巨山』と同様に明治４年に改名された。