プレハブモードでのプレハブの編集 - Unity マニュアル

UI プレハブには UI Environment 設定を使用します。UI プレハブは、通常の Transform コンポーネントではなく、ルート上に Rect Transform コンポーネントを持つプレハブです。 “UI 以外” のプレハブは、通常の Transform コンポーネントを持つプレハブです。

公式には上記のように記載されていたため、Root が RectTransform を持っていれば UI プレハブが開始すると思っていたが、実際に RectTransform だけの Prefab を開いてみたところ UI プレハブモードで開始されなかった

調査結果

調査してみたところ Canvas もしくは Canvas Renderer のコンポーネントが存在していた場合 UI プレハブモードで開始されることが分かった