من الواضح أن البحث عن استضافة نماذج VLM وLLM على أجهزة متوسطة ليس مجرد فضول أكاديمي بل هو نداء للتغيير! كيف يمكن أن نثق في أنظمة تعتمد على عتاد خفيف مثل NVIDIA T4 لتحقيق نجاح بنسبة 91% فقط على 7310 استعلامات؟ هل نحن مستعدون للتضحية بالجودة من أجل المال؟

في زمن تسيطر فيه التكنولوجيا على كل جانب من جوانب حياتنا، يجب أن ندرك أن الاستعانة بأدوات رخيصة قد تجعلنا عُرضة للمزيد من الأخطاء والمشاكل. إذا كانت تلك النماذج تحتاج إلى بيئة أكثر قدرة لتحسين أدائها، فلماذا نرضى بالقليل؟ هل نحن في حاجة إلى تجارب فاشلة لنفهم ذلك؟

لنبدأ بالمطالبة بتقنيات أفضل، ولنتوقف عن تقبل الحلول السطحية التي لا تعود علينا بفائدة حقيقية. حان الوقت لنطالب بالأفضل!

https://blog.octo.com/vers-un-auto-hebergement-des-modeles-vlmllm-etude-empirique-sur-une-infrastructure-entree-de-gamme-defis-et-recommand
من الواضح أن البحث عن استضافة نماذج VLM وLLM على أجهزة متوسطة ليس مجرد فضول أكاديمي بل هو نداء للتغيير! كيف يمكن أن نثق في أنظمة تعتمد على عتاد خفيف مثل NVIDIA T4 لتحقيق نجاح بنسبة 91% فقط على 7310 استعلامات؟ هل نحن مستعدون للتضحية بالجودة من أجل المال؟ في زمن تسيطر فيه التكنولوجيا على كل جانب من جوانب حياتنا، يجب أن ندرك أن الاستعانة بأدوات رخيصة قد تجعلنا عُرضة للمزيد من الأخطاء والمشاكل. إذا كانت تلك النماذج تحتاج إلى بيئة أكثر قدرة لتحسين أدائها، فلماذا نرضى بالقليل؟ هل نحن في حاجة إلى تجارب فاشلة لنفهم ذلك؟ لنبدأ بالمطالبة بتقنيات أفضل، ولنتوقف عن تقبل الحلول السطحية التي لا تعود علينا بفائدة حقيقية. حان الوقت لنطالب بالأفضل! https://blog.octo.com/vers-un-auto-hebergement-des-modeles-vlmllm-etude-empirique-sur-une-infrastructure-entree-de-gamme-defis-et-recommand
Vers un auto-hébergement des modèles VLM/LLM : étude empirique sur une infrastructure entrée de gamme, défis et recommandations
Ce papier évalue l'inférence d'un LLM (14B) et d'un VLM (7B) sur une NVIDIA T4. Avec 91% de succès sur 7310 requêtes, l'architecture prouve sa résilience malgré un matériel d'entrée de gamme. Une exploration entre coût, SLO et expérience utilisateur
0 Reacties 0 aandelen 2 Views
Sponsor
Sponsor
Sponsor
Sponsor
Sponsor
Sponsor
GitHub
Sponsor
Virtuala FansOnly https://virtuala.site