山頂部に散在する奇岩がツバメの容に見えたという説が最も一般的。イワツバメが生息していたことに由来する説、山容をツバメに見立てたと言う説もある。また、ツバクロのクロを岩を意味するクラからの転訛とする説もある。

剣のように鋭い岩峰を意味する。不動明王の持つ剣に見立てられているのだと言う。また、もともと太刀山（たちやま）と呼ばれていたことから、立山との関係性も大いにあると思われる。