《山海经》载：“沧海之中有度朔之山……上有二神人，一曰神荼，一曰郁垒，主阅领万鬼，恶害之鬼，执以苇索，而以食虎。于是黄帝乃作礼，时以驱之，立大桃人，门户画神荼、郁垒与虎，悬苇索，以御凶魅，有形，故执以食虎。”汉代文献中，己有门神画之记载。蔡邕《独断》：“十二月岁竟，常以先腊之夜逐除之也，乃画荼、垒并悬苇索于门户，以御凶也。”“荼”即“神荼”，“垒”即“郁垒”。传说神荼、郁垒为兄弟二人，“性能执鬼。度朔山上，章桃树下检阅百鬼，无道理妄为人祸者，神荼与郁垒缚以草索，以食虎。”（应劭《风俗通义》）魏晋南北朝时，梁宗懔撰《荆楚岁时记》，又有“正月一日，贴画鸡户上，悬苇索于其上，插桃符其旁，百鬼畏之”的记载。此时，神荼、郁垒逐渐由怪神转化成将军型的门神。

神荼郁垒读如“伸舒郁律”，亦作“荼与郁雷”。《论衡·订鬼》引《山海经》记述：“沧海之中，有度朔之山，山有大桃木，其屈蟠三千里，其枝间东北曰鬼门，万鬼所出人也。上有二神人，一曰神荼，一曰郁垒，主阅领万鬼。恶害之鬼，执以苇索而以食虎。于是黄帝乃作礼以时驱之，立大桃人，门户画神荼郁垒与虎，悬苇索以御凶魅。”《荆楚岁时记》讲：“正月一日，绘二神贴户左右，左神荼、右郁垒，俗谓之门神。”另外《独断》、《后汉书·礼仪志》等，均有此类记载。汉应劭《风俗通义》也写明，由于神荼郁垒能执鬼，“如是县官常以腊除夕，饰桃人，垂苇茭，画虎于门。皆追效于前事，冀以卫凶也。”从而逐渐成为新春风俗的重要内容。

神荼郁垒是传说中能治服恶鬼的神，汉《论衡•订鬼》引《山海经》：“沧海之中，有度朔之山，上有大桃木，其屈蟠三千里，其枝间东北曰鬼门，万鬼所出入也。上有二神人，一曰神荼，一曰郁垒，主阅领万鬼。恶害之鬼，执以苇索而以食虎。于是黄帝乃作礼以时驱之，立大桃人，门户画神荼郁垒与虎，悬苇索以御凶魅。”梁•宗懔 《荆楚岁时记》谓：“正月一日，绘二神贴户左右，左神茶，右郁垒，俗谓之门神。”

此“门神”，即所谓“秦琼敬德”之像。秦琼字叔宝、尉迟恭字敬德，皆唐初名将。相传，唐太宗李世民患病，觉有魔祟，惟秦琼、敬德守候，心神安定。因命画工绘二将于宫门，以镇邪祟。后世尊二将为“门神”。有谓乃“神荼郁垒”者。各有说词，不必执一。

传说之一，在商末周初，度朔山上生有奇桃，食之可延年益寿。桃下住着兄弟二人，哥哥叫神荼，弟弟叫郁垒，他们为人正直，力大无比，凶猛老虎为他们护林看桃。野牛岭上有个心狠手毒的野大王，一天，野大王派人到度朔山上索取仙桃，被神荼、郁垒轰走，野大王气得七窍生烟。一个黑夜，野大王带领他的信徒装扮成恶鬼前去报复，被神荼、郁垒用桃条捆起来扔给了老虎吃。

在《历代神仙通鉴》中，神荼郁垒两人还出现了分工。当时“山南二门，西南曰神门，神荼守之”遇到有邪神到山里去偷桃子吃，他就川木剑砍他们的脖子，拿桃树枝贯穿他们的脸颊，扔到海里去给毒龙吃。而郁垒还是守在东北的鬼门，遇到恶鬼就用苇索绑起來，扔到山下去喂猛虎，这时候他们的气势也更大了，已经是“俱以十壮士为副”了。