西班牙传教士、画家沙勿略（Francisco Xavier，1506-1552）是最早登上日本土地的西方画家之一，他在1549年拿着《圣母受胎告知》、《圣母子》到日本九州传教。1583年，意大利画家G·尼古拉（Giovni Nifolao，1560-?）开始在北九州的神学校里教授日本学生西洋画技法。随后，这批受过西方绘画训练的日本画家开始活跃在日本画坛，他们用日本的绘画工具仿照西洋画风进行创作，描绘圣经题材，也创作一些西洋风俗画。这些风俗画主要描绘在日本的葡萄牙人的衣着服饰、日常生活、海上航行和宗教习俗，如《泰西王侯骑马图》、《世界图》、《洋人奏乐图》、《南蛮屏风》等等。这些带有异国风味的绘画常常画在屏风上，所以被称为“南蛮屏风”。

1543年后，葡萄牙商人开始出现在江户、大阪、神户等城市，基督教也随之而来。传教士们带来了西洋油画和版画，耶稣、圣母和西方的风俗故事画开始在日本流传。这些葡萄牙人是从日本的南方进入日本，因此桃山时代的日本人误以为这些葡萄牙人和传教士来自南洋，故而十分鄙夷地把这些西方人称为“南蛮”，西洋画在日本成了“南蛮画”。

早在1568年，葡萄牙的耶稣会在幕府将军织田信长的庇护下在日本便获得了合法地位，此后基督教在日本繁荣发展了20年，织田信长的继任者丰臣秀吉，最初同其前任一样，为获取贸易利益，对天主教采取保护政策。后来当丰臣秀吉了解到葡萄牙人和西班牙人到处占领和征服别国领土的事实，开始担心天主教在农民中广泛传播而形成的众多教徒，有一天会和葡萄牙人、西班牙人联合起来，从而危及自己的统治。于是一变过去对天主教的友好态度，在1587年发布驱逐传教士的命令。

17世纪初期，日本实行的是“朱印船贸易制度”，由幕府将军给商船颁发盖有将军红色大印的远航许可证，即朱印状。拥有朱印状的商船称为朱印船，只有朱印船才被允许进行海外贸易。这一制度由德川家康在1601年前后确立。贩卖的商品主要是生丝和各种丝织品，贸易的对象是中国及东南亚各国。1611年，德川幕府禁止天主教传播，这一政策导致了1616年“元和禁教令”的颁布，这个禁令有两个要点，一是禁止除中国、朝鲜以外的外国人在日本进行商业活动，二是限定外国商船只能停靠在长崎和平户两个港口。由于从事朱印船贸易的商人常常帮助西方传教士偷渡进入日本，并常常贩卖武器等违禁品，幕府开始限制朱印船贸易，直至1633年，幕府禁止日本人出海，这就是第一次锁国令。这时，相对宽松的“朱印船贸易制度”基本上已经被废止。1634年，在长崎湾内填海造“出岛”（人工岛），把做生意的葡萄牙人圈进去。1635年颁布第二次锁国令，指定长崎为唯一的贸易港，即便是来自中国的商船也只限于长崎一港。而到1639年，德川幕府将居住在“出岛”的葡萄牙人全部驱逐出境，又在1641年把居住在平户的荷兰商馆搬迁进去，与日本在长崎进行贸易的外国商船就只剩下荷兰和中国了。