Appshots を使うと、最前面にあるアプリのウィンドウを ChatGPT のチャットに送信できます。コンピューター上の別のアプリで作業中に、現在の状況を ChatGPT と共有してタスクを手伝ってもらいたいときに便利です。
Appshots は、macOS と Windows の ChatGPT デスクトップアプリで利用できます。macOS では左右の Command キー、Windows では左右の Alt キーを同時に押すと撮影できます。Appshots 用のホットキーを独自に設定することもできます。
Appshots で取得する内容
Appshot で取得するのは、最前面のウィンドウの内容だけです。次の内容が含まれる場合があります。
- 表示されているウィンドウの画像
- ウィンドウから取得できるテキスト（表示中のテキストに加え、スクロール領域の表示範囲外にあり、アプリが取得可能にしているテキストを含む）
チャットに追加した Appshot は、添付ファイルとして扱われます。ChatGPT は、手動で添付したファイルや画像と同様に、Appshot をローカルのセッションファイルに保存します。
Appshots の活用場面
ChatGPT がタスクを実行する前に、別のアプリのコンテキストを必要とする場合に Appshots を使います。
例：
- API リファレンスのページを共有し、その API を使うスクリプトの作成を ChatGPT に依頼します。
- メールやカレンダーの画面を共有し、次に取る対応の下書きを ChatGPT に依頼します。
- 画像エディター、デザイン、プレビューのウィンドウを共有し、関連するアセットやコードの修正を ChatGPT に依頼します。
- 言葉で説明するよりも見せた方が伝わりやすいエラー、設定パネル、アプリの状態を共有します。
Appshot の撮影
- 共有したいアプリのウィンドウを最前面に表示します。
- macOS では左右の Command キー、Windows では左右の Alt キーを同時に押します。または、ChatGPT の設定で指定した独自のホットキーを使います。
- ChatGPT から求められた場合は、権限の設定を完了します。
- Appshot を使ってタスクを実行するよう ChatGPT に依頼します。
デフォルトでは、ChatGPT は Appshot 用に新しいチャットを開始します。ただし、直近 60 秒以内に操作したチャットがある場合は、そのチャットに Appshot を追加します。続けて撮影した Appshot は、同じチャットに追加されます。
アプリの設定で、ホットキーと Appshot の送信先 を変更できます。 送信先を指定するには、 現在のチャット または 新しいチャット を選択します。 ここで説明した動作にするには、自動 のままにします。
フローティングコントロールからの Appshots の利用
macOS でペットのフローティングコントロールが開いていて、 ChatGPT のメインウィンドウが背面にある場合、送信先が 自動 なら、 そのコントロールから Appshot を添付した新しいチャットが始まります。ペットとして Mini を選択している場合も同様です。 あらかじめメインアプリで Appshots の権限設定を完了してください。 Windows では、Appshots はメインアプリで開きます。
権限と安全性
macOS では、Appshot を撮影する前に、ChatGPT が次の権限を求める場合があります。
- 画面収録とシステムオーディオ録音 を許可すると、 ChatGPT が最前面のウィンドウの画像を取得できます。
- アクセシビリティ を許可すると、ChatGPT が最前面のウィンドウから取得可能なテキストを読み取れます。
Appshot を撮影すると、取得した画像とテキストが ChatGPT と共有されます。タスクに必要な場合を除き、機密性の高い内容を含む Appshot の撮影は避けてください。
スクリーンショットやドキュメントを ChatGPT と共有するときと同じように、Appshot の内容を確認してください。
制限とトラブルシューティング
Appshots には、macOS または Windows の ChatGPT デスクトップアプリが必要です。Appshot がすでに含まれているチャットを CLI で再開すると、その添付ファイルはチャット履歴に残っていますが、CLI で新しい Appshot を撮影することはできません。
Google Docs、Gmail、Google Sheets、Google Slides など、一部のアプリやウェブサイトでは、ChatGPT が受け取れるのは表示範囲のスクリーンショットだけで、ドキュメント全体や画面外のテキストは取得できない場合があります。ChatGPT Work または Codex では、対応するプラグインがインストールされていれば、ChatGPT はそれを使ってアプリ内の関連コンテンツにアクセスし、依頼に対応できます。
Appshots が動作しない場合は、デスクトップアプリを更新し、設定したホットキーを確認してください。また、組織で Appshots の利用が許可されていることを確認してください。macOS では、権限も確認します。
- システム設定 > プライバシーとセキュリティを開きます。
- Codex Computer Use の 画面収録とシステムオーディオ録音 と アクセシビリティ の権限を確認します。
- アプリを再起動して、もう一度試してください。