对其起源,学术界意见不一。一般研究者认为他们是从地中海沿岸或小亚细亚进入印度的,使用达罗毗荼语言的布拉灰人是其滞留部分。
但也有人认为他们本来就是印度的土著民族,发源于今泰米尔纳德地区。游牧的雅利安人进入印度,迫使达罗毗荼人南迁或逃往其他地区。这些民族的经济文化均较为发达。
另有一些较为原始的民族虽在不同程度上受上述民族的影响,而且使用达罗毗荼语言,但主要属尼格罗-澳大利亚人种中的维达类型(如托达人、科塔人、奥朗人、坎德人及贡德人等)和尼格利陀类型(如马勒尔人、潘尼安人、卡达尔人等)。
他们都是落后民族,许多尚处在母肢袭侍系或父系氏族社会阶段,靠采集和射猎为生禅改,保留万物有灵(见原始历吵宗教)信仰。民族学家有时称他们为“前达罗毗荼人”,认为他们是达罗毗荼种人来到前就生活在印度的土著居民。