embedding

embedding

RAG چندوجهی با CLIP و GPT-4 Vision

vision embedding RAG

RAG چندوجهی با CLIP Embeddings و GPT-4 Vision # استفاده از سیستم‌های RAG چندوجهی با افزودن حالت‌های اضافی به RAG های ساده‌ی مبتنی بر متن٬ قابلیت‌ LLMها در پاسخ‌دهی به سوالات را با ارائه زمینه اضافی و پایه‌گذاری داده‌های متنی برای درک بهتر، بهبود می‌بخشد. با اتخاذ رویکرد ارایه شده در پست ساخت اپلیکیشن تطبیق لباس، ما تصاویر را برای جستجوی شباهت میان آنها امبدینگ می‌کنیم و از فرآیند از دست دادن اطلاعات در کپشن‌نویسی متنی جلوگیری می‌کنیم تا دقت بازیابی را افزایش دهیم. ...

مدیریت متن‌های طولانی‌تر از طول کانتکست مدل

embedding

مدیریت متن‌های طولانی‌تر از طول کانتکست مدل # مدل‌های embedding نمی‌توانند متنی که از طول کانتکست حداکثری مدل بیشتر باشد را پردازش کنند. طول حداکثری بسته به مدل متفاوت است و بر اساس توکن‌ها اندازه‌گیری می‌شود، نه طول رشته. اگر با مفهموم توکن‌ آشنا نیستید، به پست شمردن تعداد توکن‌ها با tiktoken مراجعه کنید. این notebook نشان می‌دهد که چگونه متن‌هایی که طولانی‌تر از طول کانتکست حداکثری مدل هستند را مدیریت کنید. ...