Karvahorsma on nimeään komeampi kasvi, sillä sen kukat ovat horsmalle poikkeuksellisen suuret.

Suomalaisten antama nimi viittaa varren karvoitukseen, ruotsalainen nimi rosendunört taas sen komeisiin kukkiin.