その Notebook は Docker で起動した Jupyter Server に接続されていますか?
接続の手順: https://code.visualstudio.com/docs/datascience/notebooks-web#_connect-to-a-remote-jupyter-server
そうでないなら接続してください。接続してそうなるなら、インポートパスを確認するために、以下のコードを Notebook で実行して結果をコメントしてください。
import sys
print(sys.path)