【ChatGPT搭載】自社専用ボットの作り方3選！徹底検証

この記事では、“ChatGPT × 社内データ”のAIチャットボット3種類の比較、検証について書いています。
3種類のボットの作り方や違い、質問に対しての回答精度などについて書いているので最後までお楽しみくださいっ！

なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。
→無料相談で話を聞いてみる

ボットの開発手法について

今回、ボットは次の3つの手法で開発しました。

簡単に概要と、各要素についてまとめます！

各要素について、表だけでは伝わらない内容を補足しております。

1. 作りやすさ
   • ChatBotKit、DocsBotはともに、すでに出来上がっているサービス（いわゆるSaaS）のため、割と簡単です。
   • Python + GPT3は、インフラ構築などが必要なため面倒に感じる方もいるでしょう。
2. 運用のしやすさ
   • ChatBotKitは、SlackやDiscordとデフォルトで連携できるため、運用しやすいです。
   • DocsBotは、WEBサイトに組み込めるウィジェット機能の実装予定があるため、将来的にはどんどん運用しやすくなるでしょう。
   • Python+GPT3は、作りやすさ同様インフラ管理が必要であり、前者2つと比較して運用コストが掛かります。
3. 精度
   • Pythonで作ったものがもっとも高く、その他の精度が少し下がります。（当社調べ）
     検証項目なども含めて、次の見出しで詳しくお伝えします。
4. 書類データ（PDF, Wordファイル等）の読み込ませやすさ
   • ChatBotKitとDocsBotは、GUIでポチポチしたら簡単にできます。
   • Python + GPT3の場合は、プログラミングが必要なため、やや難しいかも。
5. 費用
   • OpenAI本家を利用した方が安くなるでしょう。

なお、AIチャットボットの概要について知りたい方はこちらをご覧ください。

→生成AI搭載型のチャットボットとは？種類や仕組み、注意点、おすすめサービスを紹介

精度の検証方法と結果

今回の検証にあたり、次のような質問事項と基準を用意しました！
作成したボットは3種とも、弊社WEELが外部に公開している資料や一部公開してもいい社内情報を学習してます。

精度の良さは次の順番でした。

1. Python + GPT3
2. ChatBotKit
3. DocsBot

Python + GPT3のほうが、他2つより精度が良いという結果になりました！

実際の検証結果（スクショあり）

各ボットの回答（一部抜粋）をキャプチャしたので、貼り付けます。

3種を確認する前に、まずは本家であるChatGPT3.5を確認してみましょう！
弊社について学習させてないので以下のようになります。

ChatBotKit
うまく回答できてないですね。
情報は間違っているし、会社の基本情報（住所、資本金、事業内容、従業員数など）が出せてません。

DocsBot
こちらは必要そうな情報を、分けて表示している！
ものすごくホスピタリティがあっていいのですが大外れ……！
山田太郎さん……だれやねん！？笑
設立年2010年……そんな古くない！
しっかり学習させているはずなのですが……

Python + GPT3
query()という関数で、質問を入力した場合は、成功！ したのですが、どのファイルを参考にしたのかを表示しようとすると、なぜか英語で返答されてしまいます。

各ボットの回答を確認して、GPT3系を使っているため、精度がいまいちな場合があるのかなぁと。
GPT4を使って精度が上がるのであれば、コンサルや営業をボットに置き換えられるかもしれないですね
ツール自体は、GPT4に対応しているので、APIキーを取得でき次第、再度実験したいと思ってます。

なお、AIチャットボットの作り方について知りたい方はこちらをご覧ください。

→AIチャットボットの作り方とは？PythonやChatGPTなど6種類の作り方を徹底解説！

今回開発したPythonプログラムについて

プログラムを以下に記載しておきます。
お好きなインフラ環境でスクリプト実行すると、質問に対しての回答が返ってきます。
次の2つに関しては、ご自身の環境に合わせて変更しご利用ください。

import os
# APIキー
OPENAI_API_KEY = "your-APIKEY"  #@param {type:"string"}
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY
# 学習させるPDFの格納先
PDF_DIR = "/your/path/to/directory/"
import glob
from langchain.document_loaders import UnstructuredPDFLoader
from langchain.agents import initialize_agent, Tool
from langchain.llms import OpenAI
from langchain.indexes import VectorstoreIndexCreator
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from gpt_index import LangchainEmbedding
from gpt_index import GPTSimpleVectorIndex, SimpleDirectoryReader
from gpt_index.indices.prompt_helper import PromptHelper
from gpt_index import download_loader
tools = []
files = glob.glob(PDF_DIR + '/*')
# 日本語モデル埋め込み
embedding = HuggingFaceEmbeddings(
    model_name="oshizo/sbert-jsnli-luke-japanese-base-lite"
)
loaders = [UnstructuredPDFLoader(f) for f in files]
index_creator = VectorstoreIndexCreator(
    embedding=embedding,
    text_splitter=CharacterTextSplitter(chunk_size=200, chunk_overlap=20)
)
index = index_creator.from_loaders(loaders)
index_creator = VectorstoreIndexCreator(
    embedding=embedding,
    text_splitter=CharacterTextSplitter(chunk_size=200, chunk_overlap=20)
)
res = index.query_with_sources("会社の基本情報を教えてください。")　#()の中には質問を入れる
print(res["sources"])　　
print(res["answer"])　#回答が出力されます

自社専用のAIチャットボット開発実績

弊社では、自社専用のAIチャットボット開発も行っています。

AIチャットボットには専門知識を学習することができ、例えばマーケターやエンジニア、コンサルタントなど、専門家を複数登場させることも可能です。

AIチャットボットを作成することで、社内の質疑にかかる工数を減らすことができ、余剰時間を産むことができます。

弊社は、透明性を重要視しており、このAIチャットボット作成手法を一般公開しています。

以下の記事からご覧ください。

Qiita

【ChatGPT in Slack】Slackに専門家Botを大量召喚したら全員反応してうるさかったので対処する - Qiita ChatGPTが溶け込んだ世界を作りたい突然ですが皆さん、ChatGPTを利用していますか？この記事を読んでいる多くの人がChatGPTに話し相手になってもらったり、エンジニアであ...

自社専用のAIチャットボット開発に興味がある方には、まずは無料相談をご用意しております。
こちらからご連絡ください。

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、弊社紹介資料もご用意しておりますので、併せてご確認ください。

セミナーを依頼する

資料をダウンロードする