之前，茶山村是沒有人居住的。很久很久以前，這裡居住了鄒族古老社群之一達古布亞努社群。後來他們消失了，聽說是他們社群裡面發生了爭鬥，讓神靈不高興，所以神要懲罰他們，讓他們生病。
這裡有很多很多的傳說，聽說晚上會有達古布亞努人的靈魂出沒。漸漸的，沒有人敢住在這裡。
後來，因為附近的達邦、特富野地區人口愈來愈多，土地耕種愈顯不足。在一九四七年，第一批的鄒族人在鄒族第一位鄉長「高一生」的鼓勵下，來到茶山居住開墾。聽老人家說，那時候他們還會看到達古布亞努人的靈魂，他們最喜歡戲弄胡鬧的人了。
慢慢的，布農族也來到茶山。最慢來的人是漢族。
剛開始開墾的時候，大家生活普遍困苦，但是大家仍本著一顆願意互相幫助的心，不分族群，守望相助。例如，有人受傷，大家不分彼此的幫忙抬擔架；大家一起挑水，或用竹子接成水管取水；並且在『保密防諜』的時代，大家還會輪流守夜，做『冬防』的工作。
一開始在茶山上面的生活，最困難的地方在交通與語言問題。因為當時還是石子泥巴地，而且對外的道路都很危險，一不小心，他們就會掉下去。老村長也提到，他們還因此發生了不少的笑話。交通工具也不普及，都是需步行至澐水搭公車到嘉義，才能買到一些生活必需品。另外，在語言上，三個族群各自有自己的語言，彼此不相通。即時當時的日本政府大力推行日語為國語，但是對於年長的老人家，還是得用他們習慣的話。
即使有這些的困難，社區的民眾還是很積極的參與社區的各式各樣的活動。大家都會帶著自己的家庭一起參與。不管是清掃大馬路還是村裡的運動會，「只要哪裡需要我，我就會去幫忙」大家都秉持著「相互幫忙」的信念，漸漸的，茶山變成一個大家庭。茶山村裡的人，也都為茶山在努力。