Add one-click Google Colab RAG notebook

README.md

@@ -20,6 +20,10 @@ language:
 
 # ⚕️ دستیار بالینی پروتکل تشخیص دوگانه (RAG)
 
+[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/SBZ-EDU/dual-diagnosis-rag/blob/master/notebooks/Dual_Diagnosis_RAG_Colab.ipynb)
+
+**اجرای یک‌کلیکی Colab:** دریافت مقالات از Hugging Face، آپلود PDF/کتاب مجاز، بازسازی ایندکس، تست RAG و ثبت W&B.
+
 > سایکوز / اسکیزوفرنی + اختلال مصرف مواد + BPD ± ADHD
 > مبتنی بر شواهد علمی NICE · APA · WFSBP
 

app.py

@@ -145,4 +145,5 @@ with gr.Blocks(title="دستیار پروتکل تشخیص دوگانه", css=CS
 
 # مونتاژ روی ۰.۰.۰.۰ برای پیش‌نمایش زنده
 if __name__ == "__main__":
-    demo.queue().launch(server_name="0.0.0.0", server_port=int(os.getenv("PORT", "7860")))
+    demo.queue().launch(server_name="0.0.0.0", server_port=int(os.getenv("PORT", "7860")),
+                        share=os.getenv("GRADIO_SHARE", "0") == "1")

notebooks/Dual_Diagnosis_RAG_Colab.ipynb

@@ -0,0 +1,246 @@
+{
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# ⚕️ Dual Diagnosis RAG — اجرای یک‌کلیکی در Google Colab\n",
+    "\n",
+    "این نوت‌بوک:\n",
+    "1. کد را از GitHub می‌گیرد؛ 2. مقالات اعتبارسنجی‌شده را از Hugging Face دریافت می‌کند؛ 3. PDF/کتاب مجاز شما را می‌پذیرد؛ 4. ایندکس RAG را می‌سازد؛ 5. پرسش آزمایشی را اجرا می‌کند؛ 6. در صورت تنظیم کلید، نتیجه را در W&B ثبت می‌کند.\n",
+    "\n",
+    "> **ایمنی:** ابزار آموزشی/کمک‌تصمیم است، جایگزین پزشک نیست. فقط فایل‌هایی را وارد کنید که اجازه استفاده از آن‌ها را دارید. اطلاعات هویتی بیمار را آپلود نکنید.\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## 1) بررسی محیط و دریافت پروژه"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import os, sys, subprocess, pathlib\n",
+    "IN_COLAB = 'google.colab' in sys.modules\n",
+    "print('Colab:', IN_COLAB)\n",
+    "!rm -rf /content/dual-diagnosis-rag\n",
+    "!git clone -q https://github.com/SBZ-EDU/dual-diagnosis-rag.git /content/dual-diagnosis-rag\n",
+    "%cd /content/dual-diagnosis-rag\n",
+    "print('Repository ready')\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## 2) نصب وابستگی‌های سبک RAG"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "!pip -q install \"sentence-transformers>=3,<4\" \"transformers>=4.44,<5\" \"huggingface_hub>=0.27,<2\" \"pypdf>=5,<6\" \"wandb>=0.18,<1\" gradio\n",
+    "print('Dependencies installed')\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## 3) دریافت دیتاست مقالات از Hugging Face"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from huggingface_hub import hf_hub_download\n",
+    "from pathlib import Path\n",
+    "import shutil, json\n",
+    "src=hf_hub_download(repo_id='sosa123454321/dual-diagnosis-dataset',repo_type='dataset',filename='articles/validated_articles.jsonl')\n",
+    "dst=Path('data/articles/validated_articles.jsonl'); dst.parent.mkdir(parents=True,exist_ok=True); shutil.copy(src,dst)\n",
+    "rows=[json.loads(x) for x in dst.read_text(encoding='utf-8').splitlines() if x.strip()]\n",
+    "print(f'{len(rows)} validated article records downloaded')\n",
+    "for x in rows[:5]: print('•',x.get('title'),x.get('url'))\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## 4) اختیاری: آپلود PDF مقاله/کتاب مجاز\n",
+    "PDFها به متن محلی تبدیل می‌شوند و فایل اصلی به Hugging Face یا W&B ارسال نمی‌شود مگر خودتان صریحاً این کار را انجام دهید."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from pathlib import Path\n",
+    "if IN_COLAB:\n",
+    "    from google.colab import files\n",
+    "    uploaded=files.upload()  # اگر فایل ندارید این سلول را اجرا نکنید\n",
+    "    from pypdf import PdfReader\n",
+    "    out=Path('data/articles')\n",
+    "    for name,data in uploaded.items():\n",
+    "        if not name.lower().endswith('.pdf'): continue\n",
+    "        Path(name).write_bytes(data)\n",
+    "        reader=PdfReader(name)\n",
+    "        text='\\n'.join((p.extract_text() or '') for p in reader.pages)\n",
+    "        safe=Path(name).stem.replace(' ','_')+'.md'\n",
+    "        (out/safe).write_text(f'# {Path(name).stem}\\n\\n{text}',encoding='utf-8')\n",
+    "        print(name,'->',out/safe,len(text),'characters')\n",
+    "else: print('Upload is available in Colab.')\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## 5) ساخت ایندکس برداری RAG"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import os\n",
+    "os.environ['EMBED_MODEL']='sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2'\n",
+    "!python -m scripts.build_index\n",
+    "from rag import store\n",
+    "chunks,vectors=store.load()\n",
+    "print('Chunks:',len(chunks),'Vector shape:',vectors.shape)\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## 6) تست بازیابی مقاله"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from rag import retriever\n",
+    "question='در روان‌پریشی همراه مصرف مواد، در صورت لغزش چه ارزیابی‌هایی لازم است؟'\n",
+    "hits=retriever.search(question,top_k=5)\n",
+    "for i,h in enumerate(hits,1):\n",
+    "    print(f\"\\n[{i}] score={h['score']:.3f} source={h['source']}\\n{h['text'][:700]}\")\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## 7) پاسخ RAG\n",
+    "حالت پیش‌فرض استخراجی و رایگان است. برای مدل مولد، GPU را از Runtime → Change runtime type فعال کنید."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "os.environ['USE_GENERATOR']='0'  # برای Colab رایگان سریع و قابل اتکا\n",
+    "from rag import pipeline\n",
+    "result=pipeline.answer(question)\n",
+    "print(result['answer'])\n",
+    "print('\\nSources:')\n",
+    "for s in result['sources']: print('-',s)\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## 8) ثبت ارزیابی در W&B (اختیاری)\n",
+    "کلید را فقط در Colab Secrets با نام `WANDB_API_KEY` ذخیره کنید؛ آن را داخل نوت‌بوک ننویسید."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import os\n",
+    "try:\n",
+    "    if IN_COLAB:\n",
+    "        from google.colab import userdata\n",
+    "        os.environ['WANDB_API_KEY']=userdata.get('WANDB_API_KEY') or ''\n",
+    "    if os.getenv('WANDB_API_KEY'):\n",
+    "        import wandb\n",
+    "        run=wandb.init(project='dual-diagnosis-rag',entity='elasa2next-sosa-',job_type='colab-rag-rebuild',config={'chunks':len(chunks),'embedding_model':os.environ['EMBED_MODEL'],'generator':False})\n",
+    "        wandb.log({'chunks_indexed':len(chunks),'top_retrieval_score':float(hits[0]['score']) if hits else 0,'sources_returned':len(result['sources'])})\n",
+    "        run.finish(); print(run.url)\n",
+    "    else: print('WANDB_API_KEY not set; logging skipped safely.')\n",
+    "except Exception as e: print('W&B skipped:',e)\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## 9) اجرای رابط Gradio در Colab (اختیاری)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# اجرای این سلول یک لینک موقت Gradio می‌سازد.\n",
+    "# توجه: لینک با پایان نشست Colab خاموش می‌شود.\n",
+    "!USE_GENERATOR=0 GRADIO_SHARE=1 python app.py\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## خروجی‌ها\n",
+    "- ایندکس: `index/chunks.json` و `index/vectors.npz`\n",
+    "- مقالات: `data/articles/`\n",
+    "- داشبورد: https://wandb.ai/elasa2next-sosa-/dual-diagnosis-rag\n",
+    "- مخزن مدل: https://huggingface.co/sosa123454321/dual-diagnosis-rag\n",
+    "- دیتاست: https://huggingface.co/datasets/sosa123454321/dual-diagnosis-dataset\n"
+   ]
+  }
+ ],
+ "metadata": {
+  "accelerator": "GPU",
+  "colab": {
+   "name": "Dual_Diagnosis_RAG_Colab.ipynb",
+   "provenance": []
+  },
+  "kernelspec": {
+   "display_name": "Python 3",
+   "name": "python3"
+  },
+  "language_info": {
+   "name": "python"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 5
+}