使用例の紹介
自分はiPhoneのショートカットをよく使っている
その中で最近OCRもできることを知ったので使ってみた
背景
iPhoneの契約をpovoにしている
使い始めのときに、従量課金の場合実際どのくらいのデータ消費なんだろう?ということが気になり始めてしまった
もちろん過ごし方によっても消費量は変わるが、ざっと一般的な生活パターンでこのくらいというのを把握したく、そのために日々の消費量までは把握したかった
APIがあるか調べてみたがなさそうだったのとアプリから推移などもわからなそうだったので、毎日アプリから残りどのくらいの容量かを取得してSlackへ送るようにした
ポスト先は何でも良かったがいったん今回はSlackにした
その後はBQなりなんなりにデータ移して分析なり集計なりをすればよい
設定手順
- アプリを開く
- スクリーンショットを撮る
- スクリーンショットを切り取り
- 切り取り済みの画像からテキストを抽出
- テキストを使って任意のAPIなどにポスト
もうこれだけって話ではあるが一応説明も
アプリケーションを開く
設定でpovo2.0アプリを指定
スクリーンショットを取る
アプリのトップ画面のスクリーンショットを取得する
こんな感じ
スクリーンショットを切り取り
前段で取得したスクリーンショットを切り取る
この場合は2.44GBのみが画面に入るよう切り取る、何度か実行して座標、サイズの情報を調整した
切り取り済みの画像からテキストを抽出
このくらいだとしっかり読み取ってくれる
テキストを使って任意のAPIなどにポスト
今回はSlackのWebhookのURLにPOSTするだけだったので設定画面は割愛する
が、Pixelaや適当なAPIに送るとかでもよい
おわり
ショートカットでアプリを開いたあとの操作はできなそうだったため、ショートカット実行前に、トップに戻す必要があるというのがちょっと不便…
また、数字の反映もリアルタイムというわけではなさそうだったのでどこまで正しい数字か怪しい部分もあるが、一定の傾向をつかむ目的であれば十分かなと思っている
ユースケースが微妙かもしれないが、スクリーンショットとテキスト抽出で日常の何かしらを改善するみたいなのはできそう
