彩子听后，顿时火冒三丈，可是又不能当场发作，于是上前将所有的银两都还给了那个何老板，并拿走了寄卖在他那儿的手绢。回到家后，她前思后想，左思右想，想来想去，终于想通一件事，那就是她再也不能接受三井对她的恩惠。所以这一刻，她反问道：“阿寿，你这么做又是何苦？我又不是你什么人，你没必要处处为我着想。”
三井听后低下头，彩子说得不错，每月卖不掉的那些手绢确实是他买下来的，有的自用，有的送给弟兄几个去哄女人，可是他这么做，也只是想尽己所能，帮助彩子而已，他希望彩子看不见，听不着，就当不知道，不就好了吗？于是，他抬起头，说道：“是，你说得对，你不是我什么人，可我帮朋友总可以吧。”
彩子叹一口气，在心中建树一番后，说道：“不要再说了，我已经决定了，稍后我会去城里王员外府中做厨娘，我会带着宇昂从这里搬出去。”
“为什么？”三井立刻问道。
彩子看着他，说道：“你还不懂吗？外面已经有太多的闲言碎语了。”
三井气愤，随口说道：“是那些婆娘吃饱了没事做，乱说人是非，你不用理他们的。”
可是彩子不以为意，她告诉三井：“你可以不管，但我不可以，我已经不是井上秀芝了，我是彩子，木暮的夫人，我有夫君，有孩儿，先夫更是因为直谏而被赐死，是朝廷的忠良，我又怎么可以做出有辱贞洁，坏他名声的事呢？再说，宇昂迟早会长大，若是将来让他听到这些话也不好。何况，你有大好前程，很多姑娘都心仪于你，我又怎么可以再虚耗你的光阴呢？我已经想通了，不必再劝。”
彩子说的是道理，可那不是三井的道理，他说道：“你为什么一定要管别人怎么说呢？我们彼此知道是清白的不就可以了？”