非エンジニアでもAIアプリを構築・評価できる社内向けのスタジオを、Laravel＋Inertia＋Reactで開発しました。対話形式でアプリ仕様を組み立てるビルダー、外部ドライブからの取り込みとアクセス制御を考慮したRAGナレッジベース、応答品質を自動評価するeval機能を備えています。LLMプロバイダを複数切り替え可能とし、埋め込みモデルによる検索を実装。インフラはCloudFormationでマルチ環境を構成し、運用ハンドブックを整備しました。
- 権限を反映した社内文書の検索
- 取り込み元の文書に設定されたアクセス権限を保持し、検索結果にも反映することで、閲覧権限のない文書がAIの回答に混ざらないようにしています。
- 応答品質を自動評価するevalパイプライン
- 作成したAIアプリの応答品質を自動で評価するeval機能により、プロンプトや設定の変更が品質に与える影響を継続的に確認できます。
- LLMプロバイダの切替
- 複数のLLMプロバイダを切り替えられる抽象化を設け、用途やコストに応じてモデルを選べるようにしています。
- 環境別スタックと切替手順の文書化
- CloudFormationで環境ごとのスタックを定義し、切替手順を運用ハンドブックとして文書化しています。
- 対話形式のアプリビルダー
- AIアプリの仕様を対話形式で組み立てるビルダーを実装し、非エンジニアが設定画面の項目を埋める形でアプリを作れるようにしました。作る側にも生成AIの対話を使う構成です。
この種のシステムで検討する論点（想定例）
以下は同種の案件で一般的に検討する内容の整理であり、上記事例の詳細を示すものではありません。
想定例: 社内文書をAIに読ませるときの権限設計
社内のドライブや共有フォルダにはアクセス権限が細かく設定されているのが普通ですが、RAGで取り込む際にその権限を落としてしまうと、本来見えないはずの文書の内容がAIの回答を通じて漏れるおそれがあります。取り込み時に元の権限情報を保持し、検索時に利用者の権限で絞り込む設計が基本です。権限が変更されたときの再同期の頻度と、退職者や異動者のアクセス停止をどう反映するかも、運用ルールとして決めておく必要があります。
想定例: AIアプリの「品質」をどう測るか
生成AIを使ったアプリは、同じ入力でも出力が揺れるため、従来のテストのように期待値との一致では品質を判断できません。想定される質問と望ましい回答の観点をあらかじめ用意し、プロンプトやモデルを変えるたびに自動で評価する仕組み（eval）を持つことで、改善したつもりが別の質問で劣化していた、という事態を早く検知できます。評価の観点自体も業務担当者と一緒に育てていくものと考え、定期的に見直す前提にしておきます。
関連するサービス
関連する業種
関連する開発ガイド
- 中小企業のWebシステムに最低限必要なセキュリティ対策専任の担当者がいない中小企業でも押さえておきたい Web システムのセキュリティ対策を、SSL/TLS・認証と多要素認証・権限の最小化・アップデート・バックアップ・ログ・個人情報の順に優先度をつけて整理します。
- 要件定義とは何をすることか — 発注前に整理したい5つのこと要件定義はシステムで何を実現するかを合意する工程です。発注前に整理したい目的と成功条件、現状業務の流れ、利用者と権限、扱うデータ、やらないことの5つを、想定例を交えて解説します。
- 納品後の保守・運用で何が必要かシステムは納品後も動かし続ける必要があります。監視、バックアップと復元テスト、OS・ミドルウェア・CMSのアップデート、ステージングでの検証、保守契約の範囲という基本を整理します。
他の開発事例
監修: Unlogical Systems合同会社（杉並区・西荻窪）公開