Malheureusement, l'origine de cette expression qui date du début du XIXème siècle n'est pas connue. Certains ont supposé que, du fait qu'il ne travaille pas et qu'elles ne subissent pas de frottementsdivers, les poils peuvent se développer dans les mains du paresseux. On pourrait aussi comprendre l’image à l’envers : à cause du poil qui occupe la main, nous sommes handicapés et nous ne pouvons rien entreprendre.