.github/workflows/*.yml とは
.github/workflows/*.yml は、リポジトリに定義された GitHub Actions のワークフローファイルです。
作り方
ゼロから書いていくこともできますが、テンプレートから作成することもできます。
個人的には、テンプレートを参考にしつつ、ゼロから書いていくことをオススメします。

詳細はドキュメントに記載されています。
参考:PowerToys
microsoft/PowerToys のリポジトリにある .github/workflows には、スペルチェックや Issue の管理などのワークフローファイルがコミットされています。
.github/workflows/*.yml の表示箇所
リポジトリに .github/workflows/*.yml ファイルがある場合、Actions タブにワークフローの一覧や実行履歴が表示されます。

まとめ
.github に配置できるファイルの一覧はこちらの記事でまとめています。