相傳在古代賽夏族和矮人大隘族毗鄰而居，矮人傳授賽夏人農耕的知識，給他們種子，並且教導他們祭祀儀禮和歌舞，所以賽夏人將其視為恩人；每當有祭典節慶之時，就請矮人前來飲酒作樂。有一次豐收祭之夜，矮人調戲賽夏少女，賽夏族人憤怒之餘，於是設計將所有矮人殺死。沒想到，往後年年歉收、災害頻繁，賽夏人認為這是矮靈作祟，於是將原來的豐年祭改為「矮靈祭」，祈求矮靈不再降禍於賽夏族人。時間訂在每年農曆10月15日前後，由於祭司朱姓大宗住在「南賽夏」的苗栗縣南庄鄉，因此由南庄起祭，隔天，新竹縣五峰鄉的「北賽夏」續祭，祭期同為三天。在日據時期，改為二年一小祭，十年一大祭。每到祭典之日，外地的族人都會趕回來，以最虔敬的心來參與祭典。

資料來源：全球華文網路教育中心