在《致所有我爱过的人》中，故事是在与母亲住在一起的高中生高崎历被她的同学泷川和夫接近时展开的。她自称从第85个平行世界穿越过来，并告诉他，在那个世界里两人是恋人。
主角是一位憧憬山吹高中美术科，并以优异的成绩入学的少女由乃。因为家中离学校很远，而住在学校校门前的公寓“向阳庄”。住在隔壁的是同学年的同学宫子而在各自房间正下方的是学姐寻和沙英。因为同住在向阳庄而变得熟悉的不同性格的四人，每天都有着既奇怪又有趣的事情发生。
