卢星等著的《江西通史·秦汉卷》在论述秦汉时期江西人口的民族构成时提出:“秦汉时期，江西人口的民族构成是动态发展的，经过了一个由越族为主到汉族为主，再到汉、越基本融化同一的漫长过程。当然，在深山老林中还有极少数山民居住，过着与世隔绝的生活，这种状况可能一直持续到近代，但这不是主流。”这对我们理解赣南山都木客具有启发意义。

    《汉书·严助传》载淮南王刘安说:“臣闻越非有城邑里也，处溪谷之间，i}竹之中。”这说明越族的居住习俗是在山林之中生活。山都木客的居住习俗亦是如此—“聚于高峻之上”，“高岩绝岭，然后居之”，他们居于深山密林间，有树居(“于深山树中作案”)，也有室居(“又有自然石室如屋形”)。这也从侧面印证了前文所述山都木客是古越族中的一支的观点。

    山都木客居于深山密林间，除了与居住习俗有关外，还受到王化推行的影响。汉献帝建安五年(200)，孙权“分部诸将，镇抚山越”，以加强对山越的控制。所谓山越，也称山民、山中人;其首领则称帅、大帅或民帅。其实，汉末以后山越成分复杂，并非全是古越人的后裔。诚如有些学者所言，汉末三国时期，称江苏、浙江、江西和福建等地的越人为山越，其中亦包含早期入居越地的汉人和其他少数民族。因不满当时统治者的管辖，山越不断举行反叛和暴动，所以又常常被统治者诬为“山贼”、“山寇”、“宗贼”、“叛贼”、“山虏”等。还因为他们多以宗族为核心聚居，结成部伍，故又常常被称为“宗部”、“宗伍”、“宗党”、“宗人”等，其首领称为宗帅。

    在平定山越的过程中，中央朝廷实行“强者为兵，赢者补县”的政策。据陈文华主编《江西通史》一书研究，“史料统计，被孙权料简为兵的山越人不会少于10万，以此可知被纳入东吴政府控制山越人数颇巨。”这导致的直接结果是，山越要么逃往更为偏僻的深山密林间居住，要么被迫编入郡县为县民，成为编户齐民。正如周兆望《江西通史·魏晋南北朝卷》所述:“西汉时，江西全境仅豫章一郡，辖县二十一，东汉末增至二十五，东吴时扩大到六郡五十八县。行政建制的巨大变化，根本原因是人口增加、土地得到大面积开发的结果，但也不能忽视山越人民大批出山，从而成为郡县编户齐民的事实。”总之，在一系列的征伐过程中，越人的生存空间受到挤压，要么选择出山成为县民，要么选择躲避在深山密林处居住，少与他人接触。

    伴随王化的推行，以及在长期的生活交往中，越人汉化或者越人与汉人的融合不断加强，从而使汉越之间的民族界限越来越模糊，成为郡县控制下的县民。两汉时期，因控制有限朝廷并没有对广大越人采取强力行动，同化是以和平和渐进的方式进行，双方相安无事。汉末三国时期，为了适应战争的需要，东吴断然以武力驱赶山越为编户齐民，纳税服役，从而导致了赣北、赣东北和赣中地区爆发了一系列山越暴动。中央镇压山越暴动后，山越被纳为编户齐民。对此，许怀林在《江西史稿》一书中提出:山越“他们居住的山区纳入汉民族郡县系统之中，他们的生活习俗与汉族人更趋一致，‘山越’一同在三国以后的历史上便不见记载了。”①晋代时期，王化进一步由赣北、赣中向赣南推行。三国吴时在赣南设立了隶属于庐陵郡的庐陵南部都尉，而西晋时又改庐陵南部都尉为南康郡，从行政区划上提高了赣南的政治地位，这反映出中央朝廷加强了对赣南的管辖。伴随王化在赣南的推行和加强，除深山密林间还有少数山都木客居住外，赣南大部分地区越人和汉人相互融合在一起，被统称为县民。