.github/ISSUE_TEMPLATE/*.yml とは
.github/ISSUE_TEMPLATE/*.yml は、リポジトリの Issue を作成するときのテンプレートファイルです。
.github ディレクトリにだけ効果があり、リポジトリルートや docs ディレクトリに配置してもテンプレートとして扱われません。
.github/ISSUE_TEMPLATE/config.yml- [New Issue] ボタンを押したときの挙動を設定するファイル
blank_issues_enabled: 空の Issue を作成できるかどうかcontact_links: 特定の種別の課題に関する外部リンク
.github/ISSUE_TEMPLATEのその他の*.ymlファイル- 独自の Issue テンプレートファイル
作り方
ゼロから書いていくこともできますが、設定画面からテンプレートを作成することができます。

詳細はドキュメントに記載されています。
参考:PowerToys
microsoft/PowerToys のリポジトリにある .github/ISSUE_TEMPLATE には、バグレポートや機能リクエスト、誤訳についてのレポートなどのテンプレートが用意されています。
.github/ISSUE_TEMPLATE/*.yml の表示箇所
リポジトリに .github/ISSUE_TEMPLATE/*.yml ファイルがある場合、Issue の作成時にテンプレートを選択することができます。画像は PowerToys のリポジトリを例にしています。

まとめ
.github に配置できるファイルの一覧はこちらの記事でまとめています。