灰麝鼩体型极为细小，全身长度（包括尾部）一般只有135毫米，而尾长约头至躯干的一半。它们拥有尖长的吻部、修长的尾巴及浅棕灰色的背毛，所以经常被误认为老鼠。

灰麝鼩属夜行性动物，经过多年的演化，它们的眼睛已逐渐退化而变得细小，继而发展出相对大的耳朵和吻部，依靠触觉及嗅觉于泥土中捕食小型无脊椎动物如昆虫及蚯蚓。