https://spherical-harmonics.hateblo.jp/entry/TItech/1990/02

2020.05.24記

[2] $x_i$ （ $x_i=1,2,\ldots,n$ ）を正数とし， $\displaystyle \sum_{i=1}^n x_i=k$ を満たすとする．このとき不等式 $\displaystyle\sum_{i=1}^n x_i \log x_i \geqq k\log\dfrac{k}{n}$ を証明せよ．

2019.05.24記
ギブスの不等式の特殊な場合である。

確率となるように $z_i=\dfrac{x_i}{k}(i=1,2,\cdots,n)$ , $\displaystyle w_i=\dfrac{1}{n}(i=1,2,\cdots,n)$ とおくと、 $\displaystyle\sum_{i=1}^n z_i\log w_i=\sum_{i=1}^n z_i \log \dfrac{1}{n}=\log \dfrac{1}{n}$ であるから、
$\displaystyle\sum_{i=1}^n x_i\log x_i\geqq k\log\dfrac{k}{n}\Longleftrightarrow\sum_{i=1}^n z_i\log z_i\geqq \log\dfrac{1}{n}=\sum_{i=1}^n z_i\log w_i$
となる。よって
$\displaystyle\sum_{i=1}^n z_i\log\dfrac{z_i}{w_i}\geqq 0$
を示せば良い。

これはKLダイバージェンスが非負であるという、ギブスの不等式なので正しい。
なお、ギブスの不等式は、下に凸な関数に対するJensen の不等式
$\displaystyle\sum_{i=1}^n w_i f\Bigl(\dfrac{z_i}{w_i}\Bigr)\geqq f\Bigl(\sum_{i=1}^n w_i\cdot\dfrac{z_i}{w_i}\Bigr)=f(1)$
(最後の等号は確率の和が1であることを用いている)
で $f(x)=x\log x$ とおけば
$\displaystyle\sum_{i=1}^n w_i\cdot \dfrac{z_i}{w_i} \log \dfrac{z_i}{w_i}\geqq0$
からKLダイバージェンスは非負であることを導くことができる。

もちろん、 $\log x\geqq x-1$ ( $x=1$ での接線で評価)を利用して
$\displaystyle\sum_{i=1}^n z_i\log\dfrac{w_i}{z_i}\leqq \sum_{i=1}^n z_i\Bigl(\dfrac{w_i}{z_i}-1\Bigr)=\sum_{i=1}^n (w_i-z_i)=0$
( $\log$ の中の分子分母が逆)と示しても良い。

なお、ギブスの不等式のうち、 $x_i$ の和が1である式を $w_i=\dfrac{1}{n}$ の和が1であると組替えると
$\displaystyle -\sum_{i=1}^n z_i\log z_i\leqq -\sum_{i=1}^n\dfrac{1}{n}\log\dfrac{1}{n}$
と変形できるので、シャノンエントロピーを最大化するものは一様分布であることがわかる。

2020.09.09記
エントロピーは一様分布のときに最大となる，という観点からすると $p_i=\dfrac{x_i}{k}$ として， $\displaystyle \sum_{i=1}^n p_i=1$ のとき， $\displaystyle\sum_{i=1}^n -p_i \log p_i \leqq -\dfrac{1}{n}\log\dfrac{1}{n}$ を示していることになる．

この手の不等式は、Jensen の不等式を用いるのが一般的であるが，実は接線で評価して証明することもできる．このことは知っておくと良い．

$f(x)=x\log x$ とおくと、 $f''(x)=\dfrac{1}{x}$ は下に凸だから、Jensen の不等式より
$\dfrac{1}{n}\displaystyle\sum_{i=1}^n x_i \log x_i=\dfrac{1}{n} \sum_{i=1}^n f(x_i)$ $\geqq f\Bigl(\dfrac{1}{n}\displaystyle\sum_{i=1}^n x_i \Bigr)=\dfrac{k}{n}\log \dfrac{k}{n}$
である．

接線で評価する．等号成立が $x_i=\dfrac{k}{n}$ となる，つまり $\dfrac{n}{k}x_i=1$ となることに注意すると良い．

$f(x)=x\log x$ とおくと、 $f'(x)=1+\log x$ であり， $f''(x)=\dfrac{1}{x}$ は下に凸だから、
$f(x)\geqq f'(1)(x-1)+f(1)=x-1$ である．

よって
$\displaystyle \sum_{i=1}^n \dfrac{n}{k}x_i\log \Bigl(\dfrac{n}{k}x_i\Bigr) \geqq \sum_{i=1}^n \Bigl(\dfrac{n}{k}x_i -1\Bigr)=0$
となる．つまり
$\displaystyle \sum_{i=1}^n x_i\log \Bigl(\dfrac{n}{k}x_i\Bigr) \geqq 0$
となり，
$\displaystyle \sum_{i=1}^n x_i\log x_i \geqq \sum_{i=1}^n x_i\log \dfrac{k}{n} = k\log\dfrac{k}{n}$
が成立する．

Jensen の不等式 - 球面倶楽部零八式 mark II