ドキュメントのルートフォルダにconf.pyというファイルがあります。 このファイルには、作成するドキュメントの設定が書かれています。 その中に、言語を設定する項目がありますので、それを日本語に設定します。
conf.pyをテキストエディタで開きます。 そうすると
# The language for content autogenerated by Sphinx. Refer to documentation
# for a list of supported languages.
#language = None
と書いてあるところがあるので、その後ろに
language = "ja"
を追記します。
それから
> make html
すると、サイドバーやフッターなどが日本語化されます。