后来，斋藤在财政和其他方面都麻烦重重。1993年，他曾以受贿罪被判缓刑叁年。在此期间，他曾经宣称，他希望死时把这幅作品焚毁，和自己一同埋葬。此语一出，艺术界大哗，但他后来又说，这只是个玩笑。1996年，斋藤去世，没人知道谁拥有了这幅画。斋藤的继承人、他的公司还是他的债主?甚至没人知道它的下落。
尽管斋藤的公司向世人保证这幅画仍然存在，但关于它的所有后来的交易都蒙上了一层神秘的面纱。几乎可以肯定，面容忧郁、带着凡·高所说的“我们这个时代的心碎表情”的《加歇医生像》已离开日本，落在了私人收藏家手中。它的主人不想宣扬这件事，很可能因为这幅画的名声已经够大了。但它究竟在哪儿?有人说在纽约，有人说在法国，还有人说在瑞士。
谣言还在流传，但是，让这幅画回到公众领域有什么重要意义?阿姆斯特丹凡·高博物馆的收藏负责人斯拉尔·范·霍伊滕说，《加歇医生像》不仅是全世界最昂贵的绘画作品，还代表了凡·高肖像画的顶峰。他说：“那时，他试图创造一种新的肖像画，这种画法使肖像具有一种永恒感，《加歇医生像》体现了这些想法。”凡•高名画失踪之谜至今都是未解之谜。
