在《致所有我爱过的人》中，故事是在与母亲住在一起的高中生高崎历被她的同学泷川和夫接近时展开的。她自称从第85个平行世界穿越过来，并告诉他，在那个世界里两人是恋人。
主角是一位憧憬山吹高中美术科，并以优异的成绩入学的少女由乃。因为家中离学校很远，而住在学校校门前的公寓“向阳庄”。住在隔壁的是同学年的同学宫子而在各自房间正下方的是学姐寻和沙英。因为同住在向阳庄而变得熟悉的不同性格的四人，每天都有着既奇怪又有趣的事情发生。
斋森美世虽出身异能者名门，却不像妹妹有珍稀的“见鬼之才”，从小遭父亲蔑视，并饱受继母和妹妹欺凌。斋森家为了政策联姻，将美世许配给异能者久堂清霞。此人虽才能卓越却性格冷酷，已被多任未婚妻解除婚约，美世初到久堂家时更只得到清霞冷淡对待，但善良的美世渐渐打动了漠然的婚约者。
故事发生在一处温馨但偏僻的田园小镇奥木染，双亲过世的少年春日野悠（桥本隆 配音）带着体弱多病的妹妹春日野穹（田口宏子 配音）千里迢迢的来到了这里，准备寄宿在祖父留下的房子中。虽然照顾妹妹的起居很辛苦，但悠还是拥有了一段难得愉快的时光。 在这里，悠遇见了幼年的玩伴天女目瑛（阪田佳代 配音），成熟温柔的姐姐依媛奈绪（猪口有佳 配音），认真可爱的大小姐渚一叶（小野凉子 配音）等热情亲切的朋友们，还有同班损友中里亮平（中国卓郎 配音）的插科打诨让他笑口常开。同时，一些模糊的回忆逐渐的浮上了心头，是和谁有过怎样的约定呢？面对着面前似曾相识的风景，悠的记忆开始苏醒。
