RAG چندوجهی با CLIP Embeddings و GPT-4 Vision # استفاده از سیستم‌های RAG چندوجهی با افزودن حالت‌های اضافی به RAG های ساده‌ی مبتنی بر متن٬ قابلیت LLMها در پاسخ‌دهی به سوالات را با ارائه زمینه اضافی و پایه‌گذاری داده‌های متنی برای درک بهتر، بهبود می‌بخشد.
با اتخاذ رویکرد ارایه شده در پست ساخت اپلیکیشن تطبیق لباس، ما تصاویر را برای جستجوی شباهت میان آنها امبدینگ می‌کنیم و از فرآیند از دست دادن اطلاعات در کپشن‌نویسی متنی جلوگیری می‌کنیم تا دقت بازیابی را افزایش دهیم.
...
ارزیابی RAG با LlamaIndex # در این پست به ساخت یک پایپ‌لاین RAG و ارزیابی آن با LlamaIndex می‌پردازیم. این پست شامل سه بخش زیر است:
درک Retrieval Augmented Generation (RAG). ساخت RAG با LlamaIndex. ارزیابی RAG با LlamaIndex. Retrieval Augmented Generation (RAG)
مدل‌های زبانی بزرگ (LLMs) بر روی دیتاست‌های وسیعی آموزش دیده‌اند، اما این دیتاست‌ها شامل داده‌های محرمانه یا شخصی شما نیستند. RAG این مشکل را با ادغام دینامیک داده‌های شما در طول فرآیند تولید حل می‌کند.
...
این نوت‌بوک نحوه ساخت یک اپلیکیشن جستجوی معنایی در آرشیوی از فیلم‌ها را با استفاده از جستجوی برداری MongoDB Atlas نشان می‌دهد.
مرحله 1: تنظیم محیط # دو پیش‌نیاز برای ساخت این اپلیکیشن وجود دارد:
کلاستر MongoDB Atlas: برای ایجاد یک کلاستر رایگان MongoDB Atlas، ابتدا باید یک حساب کاربری MongoDB Atlas ایجاد کنید. برای این کار به وب‌سایت MongoDB Atlas مراجعه کرده و روی “Register” کلیک کنید. به داشبورد MongoDB Atlas بروید و کلاستر خود را تنظیم کنید.
...
استفاده از Redis به عنوان پایگاه داده وکتور # این پست مقدمه‌ای بر استفاده از Redis به عنوان پایگاه داده وکتور است. Redis یک پایگاه داده مقیاس‌پذیر است که می‌تواند با استفاده از ماژول RediSearch به عنوان پایگاه داده وکتور استفاده شود. ماژول RediSearch به شما امکان می‌دهد وکتورها را در Redis ایندکس و جستجو کنید. این نوت‌بوک به شما نشان می‌دهد که چگونه از ماژول RediSearch برای ایندکس و جستجوی وکتورهایی که با استفاده از Gilas API ایجاد و در Redis ذخیره شده‌اند، استفاده کنید.
...
افزونه‌ی Genie AI که برای استفاده در محیط Visual Studio Code (VS Code) توسعه یافته است٬ تجربه کدنویسی را با ارائه کمک‌های هوشمند بهبود می‌بخشد. این ابزار با استفاده از مدل‌های زبانی پیشرفته به توسعه‌دهندگان کمک می‌کند تا روند کار خود را ساده‌تر کنند، کیفیت کد را افزایش دهند و وظایف تکراری را به صورت خودکار انجام دهند.
مزایای استفاده از AI Coding Extension در VS Code # افزونه‌های کدنویسی هوش مصنوعی مانند Genie AI به طور قابل توجهی بهره‌وری توسعه‌دهندگان که از Visual Studio Code (VS Code) استفاده می‌کنند را افزایش می‌دهند.
...
این پست راهنمایی برای بهبود ترنسکریپشن‌های Whisper ارائه می‌دهد. ما داده‌های صوتی را از طریق برش و تقسیم‌بندی بهینه‌سازی می‌کنیم تا کیفیت ترنسکریپشن‌های Whisper را افزایش دهیم. پس از ترنسکریپشن، خروجی را با افزودن علائم نگارشی، تنظیم اصطلاحات محصول (مثلاً ‘five two nine’ به ‘529’) و کاهش مشکلات Unicode بهبود می‌بخشیم. این استراتژی‌ها به بهبود وضوح ترنسکریپشن‌ها کمک می‌کنند، اما به یاد داشته باشید که سفارشی‌سازی بر اساس یوزکیس خاص شما ممکن است مفید باشد.
...
پردازش اسناد PDF برای برنامه‌های RAG # این Notebook نشان می‌دهد چگونه می‌توان از GPT-4V برای تبدیل اسناد PDF مانند اسلایدها یا خروجی‌های صفحات وب به محتوای قابل استفاده برای برنامه‌های RAG استفاده کرد.
این تکنیک می‌تواند در صورتی که داده‌های غیرساختارمند زیادی دارید که حاوی اطلاعات ارزشمندی هستند و می‌خواهید به عنوان بخشی از پایپ‌لاین RAG خود آنها را بازیابی کنید، مورد استفاده قرار گیرد.
به عنوان مثال، می‌توانید یک Knowledge Assistant بسازید که بتواند به سوالات کاربران درباره شرکت یا محصول شما بر اساس اطلاعات موجود در اسناد PDF پاسخ دهد.
...
مدل جدید GPT-4 Turbo، اکنون امکان فراخوانی توابع با قابلیت‌های دیداری (vision)و استدلال بهتر را فراهم می‌کند. استفاده از تصاویر با فراخوانی توابع، موارد کاربرد جدید را امکان‌پذیر می‌کند و به شما اجازه می‌دهد فراتر از OCR و توضیحات تصاویر بروید.
ما دو مثال را برای نشان دادن استفاده از فراخوانی توابع با GPT-4 Turbo با قابلیت دیداری بررسی خواهیم کرد:
شبیه‌سازی یک دستیار خدمات مشتری تحلیل یک نمودار سازمانی برای استخراج اطلاعات کارکنان برای اجرای کدهای زیر ابتدا باید یک کلید API را از طریق پنل کاربری گیلاس تولید کنید.
...
این نوت‌بوک نشان می‌دهد چگونه می‌توان از embeddings برای پیاده‌سازی جستجوی معنایی در میان کدهای کامپیوتری استفاده کرد. برای این پست ما از کد openai-python که در گیت‌هاب قایل دسترسی است٬ استفاده می‌کنیم. سپس نسخه ساده‌ای از تجزیه فایل و استخراج توابع از فایل‌های پایتون را پیاده‌سازی می‌کنیم که می‌توانند embed، index و query شوند.
توابع کمکی # برای شروع به چند تابع تجزیه‌ی ساده برای استخراج توابع داخل کدبیس خود نیاز داریم.
...
خوشه‌بندی K-means در پایتون با استفاده از Gilas API # ما از یک الگوریتم ساده k-means برای نشان دادن چگونگی انجام خوشه‌بندی استفاده می‌کنیم. خوشه‌بندی می‌تواند به کشف گروه‌های ارزشمند و پنهان در داده‌ها کمک کند.
جمع آوری داده ها # مجموعه داده‌ای که در این مثال استفاده شده است، نظرات کاربران در مورد غذاهای مختلف در آمازون می‌باشد. این مجموعه داده شامل 568,454 نظر در مورد غذاهای مختلف است که تا اکتبر 2012 توسط کاربران آمازون ثبت شده‌اند.
...
دسته‌بندی با استفاده از embeddings # راه‌های زیادی برای دسته‌بندی متن وجود دارد. این نوت‌بوک مثالی از دسته‌بندی متن با استفاده از embeddings را نمایش می‌دهد.
در این نوت‌بوک امتیاز بررسی غذایی (از ۱ تا ۵) بر اساس embedding متن بررسی و پیش‌بینی می‌شود. ما دیتاست را به مجموعه‌های آموزشی و آزمایشی تقسیم می‌کنیم تا بتوانیم عملکرد مدل را بر روی داده‌های دیده نشده به طور واقعی ارزیابی کنیم.
...
رابط برنامه‌نویسی یا API گیلاس یک پارامتر اختیاری برای کار با مدل wisper در اختیار شما قرار می‌دهد. هدف از پراپمت کمک به اتصال چندین بخش صوتی است. با ارسال متن تولید شده (ترنسکریپشن) در بخش قبلی از طریق پراپمت، مدل Whisper می‌تواند از این کانتکست برای درک بهتر گفتار و حفظ سبک نوشتاری استفاده کند.
با این حال، پراپمت‌ها نیازی به ترنسکریپشن‌های واقعی از بخش‌های صوتی قبلی ندارند. پراپمت‌های ساختگی می‌توانند مدل را به استفاده از املاء یا سبک‌های خاص هدایت کنند.
...