RAGをつけた

app.py

@@ -2,8 +2,12 @@ import gradio as gr
 import pathlib
 from huggingface_hub import hf_hub_download
 from llama_cpp import Llama
+from sentence_transformers import SentenceTransformer
+import faiss
+import numpy as np
+import pandas as pd
 
-# 書き込み可能なディレクトリを指定（例：現在のディレクトリの "models" フォルダ）
+## LLMの読み込み
 models_dir = pathlib.Path(__file__).parent / "models"
 models_dir.mkdir(exist_ok=True)
 
@@ -15,13 +19,50 @@ model_path = hf_hub_download(
 
 llm = Llama(model_path=model_path)
 
+## 埋め込みモデルの読み込み
+model = SentenceTransformer("BAAI/bge-m3")
+
+# ドキュメントの読み込み
+df = pd.read_csv("document.csv")
+# "text"カラムをリストとして抽出
+texts = df['text'].tolist()
+
+# ベクトル化
+doc_embeddings = model.encode(texts, normalize_embeddings=True)
+
+# FAISSのセットアップ
+dimension = doc_embeddings.shape[1]
+index = faiss.IndexFlatIP(dimension)  # Cosine用にnormalize済ならこれ
+index.add(np.array(doc_embeddings))
+
 def generate_text(prompt):
-    result = llm(prompt)
+    result = llm(search(prompt))
     return result['choices'][0]['text']
 
+def search(query):
+    query_embedding = model.encode([query], normalize_embeddings=True)
+
+    # FAISSで検索
+    top_k = 3
+    D, I = index.search(np.array(query_embedding), top_k)
+
+    retrieved_docs = []
+    print("\n🔍 検索結果:")
+    for idx in I[0]:
+        doc_text = texts[idx]
+        retrieved_docs.append(doc_text)
+        print(f"→ {doc_text}")
+
+    # RAG用のプロンプトを作成
+    prompt = "以下の文書を参照して質問に答えてください。\n\n文書:\n"
+    prompt += "\n".join(retrieved_docs)
+    prompt += f"\n\n質問: {query}"
+
+    return prompt
+
 iface = gr.Interface(fn=generate_text,
                      inputs="text",
                      outputs="text",
-                     title="GGUFモデルテキストジェネレーター")
+                     title="sarashina-R13B-RAG")
 
 iface.launch()

document.csv

@@ -0,0 +1,174 @@
+"text","tag"
+"Q: スマホの電池を長持ちさせるには？\nA: 低電力モードを使用し、バックグラウンドアプリを減らしましょう。",
+"Q: 神山町の魅力は？\nA: 自然が豊かで、IT企業の誘致による活気があります。",
+"Q: Pythonとは何ですか？\nA: Pythonはシンプルで学びやすいプログラミング言語です。",
+"Q: クラウドコンピューティングとは？\nA: インターネット経由でサーバー、ストレージ、データベースなどのコンピューティングリソースを提供するサービスです。",
+"Q: AI（人工知能）の最新動向は？\nA: 深層学習の進化、自然言語処理の精度向上、倫理的なAI開発などが注目されています。",
+"Q: 機械学習とは？\nA: データからパターンを学習し、予測や分類を行うアルゴリズムの総称です。",
+"Q: ディープラーニングとは？\nA: 脳の神経回路を模倣した多層のニューラルネットワークを用いる機械学習の手法です。",
+"Q: 自然言語処理（NLP）とは？\nA: コンピュータが人間の言葉を理解し、処理する技術です。",
+"Q: IoT（モノのインターネット）とは？\nA: センサーやデバイスがインターネットに接続され、データを共有・活用する仕組みです。",
+"Q: 5Gとは？\nA: 第5世代移動通信システムのことで、高速・大容量・低遅延が特徴です。",
+"Q: ブロックチェーンとは？\nA: 分散型台帳技術で、データの改ざんが困難な仕組みです。",
+"Q: ビッグデータとは？\nA: 従来のデータベース管理システムでは処理できないほど大量のデータです。",
+"Q: データサイエンスとは？\nA: データから有用な情報を抽出し、意思決定に役立てる学問です。",
+"Q: サイバーセキュリティとは？\nA: コンピュータシステムやネットワークを不正アクセスや攻撃から保護する技術です。",
+"Q: プログラミング言語Pythonの特徴は？\nA: シンプルで読みやすく、豊富なライブラリがあり、データ分析やAI開発に広く使われています。",
+"Q: 仮想現実（VR）とは？\nA: コンピュータで生成された仮想空間を体験できる技術です。",
+"Q: 拡張現実（AR）とは？\nA: 現実世界の映像にデジタル情報を重ねて表示する技術です。",
+"Q: 量子コンピュータとは？\nA: 量子力学の原理を利用した次世代のコンピュータです。",
+"Q: エッジコンピューティングとは？\nA: データ処理をネットワークの末端で行うことで、遅延を減らす技術です。",
+"Q: サーバーレスコンピューティングとは？\nA: サーバーの管理を意識せずにアプリケーションを実行できるクラウドサービスです。",
+"Q: コンテナ技術とは？\nA: アプリケーションとその実行環境をまとめて管理する技術です。",
+"Q: マイクロサービスとは？\nA: アプリケーションを小さな独立したサービスに分割する設計手法です。",
+"Q: DevOpsとは？\nA: 開発（Development）と運用（Operations）を連携させ、開発サイクルを高速化する手法です。",
+"Q: CI/CDとは？\nA: 継続的インテグレーション（CI）と継続的デリバリー（CD）の略で、ソフトウェア開発の自動化手法です。",
+"Q: APIとは？\nA: アプリケーション間でデータをやり取りするためのインターフェースです。",
+"Q: Web3とは？\nA: ブロックチェーン技術を基盤とした分散型インターネットの概念です。",
+"Q: メタバースとは？\nA: インターネット上に構築された仮想空間です。",
+"Q: ノーコード/ローコード開発とは？\nA: プログラミング知識がなくてもアプリケーション開発ができる手法です。",
+"Q: アジャイル開発とは？\nA: 柔軟な計画と反復的な開発を特徴とするソフトウェア開発手法です。",
+"Q: スクラムとは？\nA: アジャイル開発のフレームワークの一つで、チームで協力して開発を進めます。",
+"Q: デザイン思考とは？\nA: ユーザー中心の視点で問題解決を行うアプローチです。",
+"Q: UX/UIデザインとは？\nA: ユーザーエクスペリエンス（UX）とユーザーインターフェース（UI）を設計する分野です。",
+"Q: アクセシビリティとは？\nA: すべての人が利用しやすいように製品やサービスを設計することです。",
+"Q: オープンソースソフトウェアとは？\nA: ソースコードが公開され、誰でも自由に使用・改変・配布できるソフトウェアです。",
+"Q: リモートワークを効率化するツールは？\nA: Zoom、Slack、Microsoft Teamsなどがよく使われます。",
+"Q: プロジェクト管理ツールは何がおすすめ？\nA: Asana、Trello、Jiraなどが人気です。",
+"Q: データ可視化ツールは何がある？\nA: Tableau、Power BI、Google Data Studioなどが使われます。",
+"Q: クラウドストレージサービスは何が便利？\nA: Google Drive、Dropbox、OneDriveなどが便利です。",
+"Q: オンライン学習プラットフォームは何がおすすめ？\nA: Coursera、Udemy、edXなどが人気です。",
+"Q: プログラミング学習サイトは何がおすすめ？\nA: Codecademy、freeCodeCamp、Progateなどが人気です。",
+"Q: AI開発に役立つライブラリは？\nA: TensorFlow、PyTorch、scikit-learnなどがよく使われます。",
+"Q: データ分析に役立つライブラリは？\nA: Pandas、NumPy、Matplotlibなどがよく使われます。",
+"Q: Web開発に役立つフレームワークは？\nA: React、Angular、Vue.jsなどが人気です。",
+"Q: モバイルアプリ開発に役立つフレームワークは？\nA: React Native、Flutter、Ionicなどが人気です。",
+"Q: ゲーム開発に役立つゲームエンジンは？\nA: Unity、Unreal Engineなどが人気です。",
+"Q: データベースの種類は？\nA: MySQL、PostgreSQL、MongoDBなどがよく使われます。",
+"Q: サーバーの種類は？\nA: Apache、Nginxなどがよく使われます。",
+"Q: ネットワークの種類は？\nA: LAN、WAN、VPNなどがあります。",
+"Q: セキュリティ対策の基本は？\nA: ファイアウォール、ウイルス対策ソフト、パスワード管理などが重要です。",
+"Q: クラウドセキュリティの重要性は？\nA: クラウドサービス利用時のデータ保護とアクセス制御が重要です。",
+"Q: AI倫理とは？\nA: AIの開発・利用における倫理的な問題について考える分野です。",
+"Q: データプライバシーとは？\nA: 個人情報の保護と利用に関する権利です。",
+"Q: デジタルデバイドとは？\nA: 情報技術を利用できる人とできない人の間に生じる格差です。",
+"Q: サステナビリティとテクノロジーの関係は？\nA: テクノロジーは環境問題の解決に貢献できる可能性があります。",
+"Q: スマートシティとは？\nA: 情報技術を活用して都市の課題を解決し、持続可能な都市を目指す取り組みです。",
+"Q: フィンテックとは？\nA: 金融サービスとテクノロジーを組み合わせた分野です。",
+"Q: ヘルスケアテックとは？\nA: 医療とテクノロジーを組み合わせた分野です。",
+"Q: エドテックとは？\nA: 教育とテクノロジーを組み合わせた分野です。",
+"Q: アグリテックとは？\nA: 農業とテクノロジーを組み合わせた分野です。",
+"Q: スペーステックとは？\nA: 宇宙開発とテクノロジーを組み合わせた分野です。",
+"Q: ドローンテクノロジーの活用事例は？\nA: 農業、物流、災害調査などで活用されています。",
+"Q: 自動運転技術の現状は？\nA: 実用化に向けた研究開発が進んでいます。",
+"Q: 3Dプリンターの活用事例は？\nA: 試作品の作成、医療分野、建築分野などで活用されています。",
+"Q: バイオテクノロジーとは？\nA: 生物学の知識や技術を応用する分野です。",
+"Q: 再生可能エネルギーとテクノロジーの関係は？\nA: テクノロジーは再生可能エネルギーの効率的な利用に貢献できます。",
+"Q: スマートホームとは？\nA: IoT技術を活用して家電製品や住宅設備を連携させる仕組みです。",
+"Q: デジタルマーケティングとは？\nA: インターネットやデジタル技術を活用したマーケティング手法です。",
+"Q: SEO対策とは？\nA: 検索エンジン最適化のことで、Webサイトを検索結果の上位に表示させるための対策です。",
+"Q: コンテンツマーケティングとは？\nA: 価値のあるコンテンツを提供することで顧客を獲得するマーケティング手法です。",
+"Q: SNSマーケティングとは？\nA: ソーシャルメディアを活用したマーケティング手法です。",
+"Q: アフィリエイトマーケティングとは？\nA: 他者の商品やサービスを紹介し、成果に応じて報酬を得るマーケティング手法です。",
+"Q: 重力とは何ですか？\nA: 物体同士が互いに引きつけ合う力です。",
+"Q: 光とは何ですか？\nA: 電磁波の一種で、人間の目に見えるエネルギーのことです。",
+"Q: 原子とは何ですか？\nA: 物質を形づくる最小の単位となる粒子です。",
+"Q: 電気とは何ですか？\nA: 電子の移動によって生まれるエネルギーです。",
+"Q: 音とは何ですか？\nA: 空気などの振動が耳に伝わり、聞こえる現象です。",
+"Q: エネルギーとは何ですか？\nA: 物体を動かしたり変化させたりするための力のことです。",
+"Q: 遺伝子とは何ですか？\nA: 親から子に受け継がれ、生物の特徴を決める情報の単位です。",
+"Q: 光合成とは何ですか？\nA: 植物が光のエネルギーで二酸化炭素と水から養分を作る働きです。",
+"Q: 進化とは何ですか？\nA: 生物が長い年月をかけて環境に適応し、姿や性質が変化していくことです。",
+"Q: DNAとは何ですか？\nA: 生物の遺伝情報が入っている、生命の設計図のような物質です。",
+"Q: ワクチンとは何ですか？\nA: 病気を予防するため、弱くした病原体などを体に入れて免疫をつける薬です。",
+"Q: 細胞とは何ですか？\nA: 生物の体を形づくる最も基本的な構成単位です。",
+"Q: ブラックホールとは何ですか？\nA: 光さえ脱出できないほど強い重力を持つ天体です。",
+"Q: 銀河とは何ですか？\nA: 無数の星やガスが重力でまとまった巨大な星の集まりです。",
+"Q: 太陽系とは何ですか？\nA: 太陽と、その周りを公転する惑星などの天体の集まりです。",
+"Q: 宇宙とは何ですか？\nA: 星や銀河など、存在するすべてを含んだ広大な空間のことです。",
+"Q: ビッグバンとは何ですか？\nA: 宇宙の始まりに起こったとされる非常に大きな爆発のことです。",
+"Q: 地震はなぜ起こるのですか？\nA: 地球の地下で岩盤（プレート）がずれてエネルギーが放出され、その衝撃で地面が揺れるためです。",
+"Q: 季節はなぜ生じるのですか？\nA: 地球の自転軸が傾いているため、公転によって太陽光の当たり方が変化し、季節が生まれるからです。",
+"Q: なぜ空は青いのですか？\nA: 太陽の光が大気中の微粒子で散乱され、その際に青い光が強く散らばるため青く見えるからです。",
+"Q: 虹はなぜできるのですか？\nA: 空気中の雨粒で太陽の光が屈折・反射し、色ごとに分かれて見えるためです。",
+"Q: オーロラとは何ですか？\nA: 太陽からの粒子が地球の大気にぶつかり、空で光を放つ現象です。",
+"Q: 地球温暖化とは何ですか？\nA: 温室効果ガスが増えて地球の平均気温が上がる現象です。",
+"Q: 温室効果とは何ですか？\nA: 大気中の二酸化炭素などが地表からの熱を吸収して逃がさず、地表を温める仕組みです。",
+"Q: 気候変動とは何ですか？\nA: 気温や降水量など、気候のパターンが長期的に変化することです。",
+"Q: 放射線とは何ですか？\nA: 物質から放出される高エネルギーの粒子や電磁波のことです。",
+"Q: 原子力とは何ですか？\nA: 原子の核反応を利用して得られる強力なエネルギーです。",
+"Q: 化学反応とは何ですか？\nA: 物質同士が結びついたり分かれたりして別の物質に変わる現象です。",
+"Q: 元素とは何ですか？\nA: それ以上分けられない物質の基本的な種類で、酸素や鉄などのことです。",
+"Q: 恐竜はなぜ絶滅したのですか？\nA: 約6600万年前、小惑星の衝突による環境の激変で生き残れなくなったためです。",
+"Q: 太陽系で一番大きな惑星は何ですか？\nA: 太陽系で最も大きな惑星は木星です。",
+"Q: 世界で一番大きい動物は何ですか？\nA: 世界で最も大きい動物はシロナガスクジラです。",
+"Q: ウイルスと細菌の違いは何ですか？\nA: ウイルスは細胞の中でしか増殖できない極めて小さな病原体で、細菌は自力で増えることができる単細胞生物です。",
+"Q: 国際宇宙ステーション (ISS) とは何ですか？\nA: 各国が協力して地球の周りの軌道上に建てた、宇宙飛行士が長期間滞在して実験するための施設です。",
+"Q: コンピューターとは何ですか？\nA: 情報の計算や処理を自動で行う電子的な機械です。",
+"Q: プログラミングとは何ですか？\nA: コンピューターにやらせたい処理を命令として書き、実行させることです。",
+"Q: インターネットとは何ですか？\nA: 世界中のコンピューター同士をつないで情報をやり取りできるようにした通信網です。",
+"Q: スマートフォンとは何ですか？\nA: 電話やメールの他、インターネットや様々なアプリが使える多機能な携帯電話です。",
+"Q: ソフトウェアとは何ですか？\nA: コンピューター上で動くプログラムやアプリのことです。",
+"Q: ハードウェアとは何ですか？\nA: コンピューターの機械そのものや部品のことで、キーボードやCPUなどの実物を指します。",
+"Q: OS（オペレーティングシステム）とは何ですか？\nA: コンピューターを管��し、他のソフトを動かすための基本的なソフトウェアです。",
+"Q: アルゴリズムとは何ですか？\nA: 問題を解決するための手順や計算方法のことです。",
+"Q: 人工知能とは何ですか？\nA: コンピューターに人間のように学習や判断をさせる技術です。",
+"Q: 機械学習とは何ですか？\nA: コンピューターが大量のデータから自ら学習して、性能を向上させる技術です。",
+"Q: プログラミング言語とは何ですか？\nA: コンピューターに命令を伝えるために人間が使う専用の言語です。",
+"Q: Pythonとは何ですか？\nA: Pythonはシンプルで学びやすいプログラミング言語です。",
+"Q: ロボットとは何ですか？\nA: 人の代わりに自動で動作する機械のことです。",
+"Q: データベースとは何ですか？\nA: データを整理して蓄積し、必要なときに取り出せるようにした仕組みです。",
+"Q: クラウドコンピューティングとは何ですか？\nA: インターネット上のサーバーを通じて、データ保存や処理などを必要に応じて利用する仕組みです。",
+"Q: ビッグデータとは何ですか？\nA: 非常に巨大で複雑なため、従来の方法では処理が難しいデータの集まりのことです。",
+"Q: バーチャルリアリティ (VR) とは何ですか？\nA: コンピューターで作られた仮想の世界を、あたかも現実のように体験できる技術です。",
+"Q: 拡張現実 (AR) とは何ですか？\nA: 現実の景色に仮想の情報や画像を重ねて表示する技術です。",
+"Q: IoT（モノのインターネット）とは何ですか？\nA: 身の回りの様々な機器をインターネットにつなげて、情報交換や遠隔操作を行う仕組みです。",
+"Q: ウェブサイトとは何ですか？\nA: インターネット上に公開された複数のウェブページからなる情報の集まりです。",
+"Q: アプリとは何ですか？\nA: スマホやパソコンで動く、特定の機能を持つソフトウェアのことです。",
+"Q: SNSとは何ですか？\nA: インターネット上で人々が交流し、情報を共有できるサービスのことです。",
+"Q: プログラマーとは何ですか？\nA: コンピューター用のプログラムを書く人のことです。",
+"Q: コンピューターウイルスとは何ですか？\nA: 他のプログラムやファイルに感染して被害を与える、悪意のあるプログラムです。",
+"Q: パスワードとは何ですか？\nA: 本人確認やデータ保護のために用いる、秘密の合言葉です。",
+"Q: 暗号化とは何ですか？\nA: データを他人に読めないように、別の符号や文字列に変換することです。",
+"Q: 電子メールとは何ですか？\nA: インターネットを使って送受信する電子的な手紙（メッセージ）のことです。",
+"Q: CPUとは何ですか？\nA: コンピューターの中心で計算や制御を行う装置で、人間でいう脳の役割をします。",
+"Q: ディープラーニングとは何ですか？\nA: 人工知能の一分野で、人の脳をまねた多層構造でコンピューターがデータから学習する技術です。",
+"Q: HTMLとは何ですか？\nA: ウェブページの構造を記述するためのマークアップ言語です。",
+"Q: ハッカーとは何ですか？\nA: 高度なコンピューター技術を持ち、システムへの不正侵入などを行う人のことです。",
+"Q: ブロックチェーンとは何ですか？\nA: 取引データをネット上の多数のコンピューターに分散して記録・管理する技術です。",
+"Q: 検索エンジンとは何ですか？\nA: インターネット上の情報をキーワードで探し出せるようにするプログラムやサービスのことです。",
+"Q: デジタルとアナログの違いは何ですか？\nA: デジタルは情報を0や1の数字で表し、アナログは連続した量で表現する方式の違いです。",
+"Q: 文化とは何ですか？\nA: 人々が受け継ぎ共有している生活様式や価値観、習慣などのことです。",
+"Q: 伝統とは何ですか？\nA: 長い間受け継がれてきた文化や習慣のことです。",
+"Q: 芸術とは何ですか？\nA: 絵画や音楽、文学など、美しさや表現を追求する人間の創作活動のことです。",
+"Q: 文学とは何ですか？\nA: 小説や詩など、言葉で表現された芸術作品やその分野のことです。",
+"Q: 音楽とは何ですか？\nA: 音やリズムによって感情や美を表現する芸術です。",
+"Q: 宗教とは何ですか？\nA: 神や仏などを信じて、教えや儀式を通じて心の支えとする信仰の体系です。",
+"Q: 言語とは何ですか？\nA: 人間が意思や情報を伝えるために使う言葉の体系です。",
+"Q: 歴史とは何ですか？\nA: 人類の過去に起こった出来事や、それを研究する学問のことです。",
+"Q: 哲学とは何ですか？\nA: 世界や人間について、根本的な問いを探求する学問です。",
+"Q: 民主主義とは何ですか？\nA: 市民が自分たちの代表を選んで政治を行うしくみのことです。",
+"Q: ポップカルチャーとは何ですか？\nA: 大衆に広く受け入れられている現代の流行文化のことです。",
+"Q: サブカルチャーとは何ですか？\nA: 主流ではないが特定の人々に支持されている、独自の趣味や文化のことです。",
+"Q: 文化交流とは何ですか？\nA: 異なる文化の人々が接触し、お互いの文化を紹介し合って影響を受け合うことです。",
+"Q: グローバリゼーションとは何ですか？\nA: 人や物、情報、お金などが国境を越えて活発に行き来し、世界が一体化していく現象です。",
+"Q: 多文化主義とは何ですか？\nA: 異なる文化を持つ人々が互いの文化を尊重しながら共存する考え方です。",
+"Q: オリンピックとは何ですか？\nA: 世界各国が参加し、四年ごとに開かれる国際的なスポーツの祭典です。",
+"Q: ユネスコ世界遺産とは何ですか？\nA: ユネスコ（国連教育科学文化機関）が人類の宝として後世に残す価値があると認めた、世界の貴重な自然や文化の遺産のことです。",
+"Q: 神話とは何ですか？\nA: 古代の神や英雄にまつわる物語で、文化や宗教の起源を説明する伝承です。",
+"Q: 茶道とは何ですか？\nA: 日本の伝統文化で、定められた作法に従ってお茶をたて、客をもてなすことです。",
+"Q: 歌舞伎とは何ですか？\nA: 日本の伝統演劇で、華やかな衣装や化粧をして演じる舞台芸術です。",
+"Q: 日本の祭りとは何ですか？\nA: 地域の神社や季節の行事に合わせて行われる、日本各地の伝統的なお祝い行事です。",
+"Q: 和食とは何ですか？\nA: 日本の伝統的な料理で、ご飯や味噌汁、魚などを中心とした食文化です。",
+"Q: アニメとは何ですか？\nA: 絵を動かして物語を表現する、日本発祥の映像作品のことです。",
+"Q: マンガとは何ですか？\nA: コマ割りされた絵とセリフで物語を表現する、日本発祥の読み物です。",
+"Q: 習慣とは何ですか？\nA: ある社会や個人が繰り返し行っている決まった行動のことです。",
+"Q: 道徳とは何ですか？\nA: 人として守るべき善悪の基準や行動の規範のことです。",
+"Q: 文明とは何ですか？\nA: 高度な技術や社会組織、文化を持った人間社会のことです。",
+"Q: ファッションとは何ですか？\nA: 服装や髪型などの流行のスタイルのことです。",
+"Q: 礼儀とは何ですか？\nA: 人が社会で守るべき正しい作法やマナーのことです。",
+"Q: ジェンダーとは何ですか？\nA: 社会的・文化的に形成される性別のあり方や差異のことです。",
+"Q: メディアとは何ですか？\nA: 情報を伝える手段（媒体）のことで、テレビや新聞、インターネットなどが含まれます。",
+"Q: SDGsとは何ですか？\nA: 2030年までに世界の課題を解決するために国連が定めた17の目標のことです。",
+"Q: 人権とは何ですか？\nA: すべての人が生まれながらに持つ、人間としての基本的な権利のことです。",
+"Q: 武道とは何ですか？\nA: 柔道や剣道など、日本で発達した礼節を重んじる伝統的な武術の総称です。"

requirements.txt

@@ -1,3 +1,8 @@
 gradio
 llama-cpp-python
-huggingface_hub
+huggingface_hub
+pathlib
+SentenceTransformer
+faiss
+numpy
+pandas