李清照心里非常明白的，所以也并不介意。后来赵明诚离开青州后，先后在几个州郡做官，尤其后来做了莱州知州，已有经济基础与政治地位，身边萦绕着越来越多年轻漂亮的女性。而李清照虽然才华出众，气质优雅，但毕竟已近四十。赵明诚的心思和感情不免开始慢慢转移到那些年轻漂亮的侍妾身上。李清照这般聪颖、敏感怎能感受不到。
大家可能还记得李清照曾写过《凤凰台上忆吹箫》这首词：《凤凰台上忆吹箫》 宋·李清照香冷金猊，被翻红浪，起来慵自梳头。任宝奁尘满，日上帘钩。生怕离怀别苦，多少事欲说还休。新来瘦，非干病酒，不是悲秋。休休。这回去也，千万遍阳关，也则难留。念武陵人远，烟锁秦楼。惟有楼前流水，应念我终日凝眸。凝眸处，从今又添，一段新愁。
其实赵明诚重返仕途，前往莱州就任知府时，完全可以携带家眷一同前去，而他没有带李清照一同前往，李清照想跟丈夫一起走，可丈夫并没有带她一起走。李清照这时已经感到了婚姻的危机。所以她在词的最后写到“从今又添，一段新愁。”这首词中她还用了两个典故：“烟锁秦楼”：是《列仙传拾遗》上说的萧史弄玉的故事。“武陵人远”：是个离别后有外遇的典故，是说刘义庆《幽明录》所载刘晨、阮肇到天姥山采药遇仙女并与之嬅和故事。
通过了解这两个典故，可以猜测出李清照写这首词不只是送别和相思这么简单，她是担心丈夫有外遇：“难道丈夫真如那两个采药人一样，进入深山，与仙女相会去了！丈夫与那些漂亮的侍妾乘着凤凰双宿双飞，却把自己留在这孤独冷清的房间里！”另外，李清照还有一处愁，就是不曾生育过。古语云：不孝有三，无后为大。在古代，一个不能生育男孩甚至根本不能生育的妻子，在家中几乎是没有什么地位的，而且最终也会丧失丈夫的关爱以及对家庭财产的继承权。
南宋人洪适撰写的金石文字著作《隶释》中。其中谈到赵明诚身后之事的时候，说到“赵君无嗣”，即赵明诚没有后代。赵明诚是有侍妾的，但也都未有生养，可见这“不孕不育”的责任是谁？我想大家一看便知。但在古代，医疗落后，科学观念不发达，舆论一般都会将罪责指向为人妻者。李清照怎能不愁，不痛苦，不难过。后来宣和三年（公元1121年），赵明诚将李清照从老家青州接出，到任所团聚。
这一年的秋天，李清照离开居住了十几年之久的青州，风尘仆仆，前去与赵明诚相聚。多年难得一通音讯的等待，猜疑，使李清照这次起程前去与赵明诚重聚，不禁心事重重，有许许多多的担忧。李清照并没有因为独自苦度五年的光阴、而今终于等到了重聚的日子而感到喜出望外。品味李清照前往莱州途中路过昌乐时所作的《蝶恋花》和初到莱州时所作的《感怀》诗，发现李清照依然没有摆脱愁苦，情绪十分低落。
这种不可明说的愁苦，在《蝶恋花》一词中表现为对闺中姊妹的思念。为何李清照在赶往和丈夫团聚的路上，想念的不是自己的丈夫，而是想起自己的“姊妹”呢？其中的含义是不言而喻的。都说小别胜新婚，但李清照到了莱州，并没有与赵明诚恢复往日那般琴瑟和谐的生活，她在《感怀》诗中流落出对赵明诚整日忙于应酬，却冷落了自己的不满情绪。
到了莱州，她的最好的两个朋友，一个是乌有先生、一个是子虚先生。那么合起来不就是子虚乌有，什么都没有了吗？这是何等的孤寂。是赵明诚忽略了她，还是她不想理赵明诚，不得而知……公元1129年，49岁的赵明诚病逝了，这年李清照46岁。赵明诚给她留下了南下逃难时携带的十五车金石古籍，望着堆积如山的收藏品，李清照百感交集。
李清照在《〈金石录〉后序》中记述赵明诚去世时的情景时写道：“取笔作诗，绝笔而终，殊无分香卖履之意。”“分香卖履的典故”出自曹操的遗嘱，即《遗令》原文是：“吾婢妾与伎人皆勤苦，使著铜雀台，善待之。于台堂上安六尺床施繐帐，朝晡上脯备之属，月旦、十五日，自朝至午，辄向帐中作伎乐。汝等时时登铜雀台，望吾西陵墓田。
余香可分与诸夫人，不命祭。诸舍中无所为，可学作组履卖也。”白话文就是：曹操《遗令》中说：我的婢妾和歌舞艺人都很辛苦，让他们住在铜雀台（遗址在今河北临漳县西南二十公里邺城遗址内），好好安置他们，在台正堂上放六尺床，挂上灵帐，早晚上食物供祭，每月初一、十五两天，从早至午，要向帐中歌舞奏乐。你们要时时登上铜雀台，看望我西陵的墓地。
余下的香可分给诸夫人，不用它祭祀。各房的人无事做，可以学着制作带子、鞋子卖。现在多用来形容人死的时候也不忘记自己的妻妾（妻儿）。李清照在这里用这个典故，正面意义是为了突出他们两人最终感情如一，赵明诚临终之际并无牵挂其它女人。他并没有像曹操那样将家中的财产、家业交付给其他的侍妾。而是都留给了自己。这不得不说是对她之前忧愁善感的一种释放。
