Google Gemini AI: दिग्गज टेक कंपनी गूगल ने हाल ही में OpenAI के ChatGPT को टक्कर देने के लिए अपना लेटेस्ट AI टूल Gemini AI लॉन्च किया था। लेकिन लगता है कि नए जेमिनी एआई के लॉन्च के साथ ही दुनिया का सबसे बड़ी टेक कंपनी के लिए मुश्किल खड़ी हो गई है। Google ने Gemini AI तीन साइज़ में आता है- Ultra, Pro और Nano, अल्ट्रा सबसे ज्यादा पावरफुल है और खबरों के मुताबिक यह कई मामलों में GPT-4 को पीछे छोड़ देता है।
Gemini को पेश करते समय गूगल ने एक मल्टीमॉडल और रीजनिंग क्षमता वाला वीडियो दिखाया था। लॉन्च के बाद से ही ऐसी कई रिपोर्ट्स आई हैं कि डेमो किया गया वीडियो रियल-टाइम बेस्ड नहीं है। अटॉर्नी और कंप्यूटर साइंटिस्ट Clint Ehrilch ने X (Twitter) पर एक लंबा ट्वीट कर दिवा किया था कि Gemini का यह वीडियो फेक है। Ehrilch के मुताबिक, दर्शकों को सबसे ज्यादा यह अच्छा लगा था कि जेमिनी ना केवल फोटोज बल्कि वीडियो को भी प्रोसेस कर लेता है। इस टूल ने ऑडियो में हो रही बातचीत को अच्छी तरह से समझा और जवाब दिया। क्लिंट का कहना है कि ये इस वीडियो में दिखाए गए ये फैक्ट रियल नहीं थे।
Yesterday, Google shocked the world with its new AI, “Gemini.”
But it turns out the video was fake: the A.I. *cannot* do what Google showed.
It’s my opinion, as a lawyer and computer scientist, that (1) Google lied and (2) it broke the law. ? pic.twitter.com/VDfvcwfQeO
उन्होंने आगे कहा कि जेमिनी ने वीडियो नहीं बल्कि फोटोज को प्रोसेस किया था। इसके लिए डिटेल्स प्रॉम्प्ट देने की जरूरत हुई और यह लिखी हुई प्रॉम्प्ट्स के साथ बेहतर कम्युनिकेशन करता है ना कि ऑडियो के साथ। क्लिंट ने आगे अपनी पोस्ट में पूछा कि क्या गूगल ने फेक वीडियो दिखाकर कानून तोड़ा है। उन्होंने आगे लिखा कि Federal Trade Commission (FTC) स्टैंडर्ड्स के तहत एक विज्ञापन को भ्रामक बनाने से रोकने के लिए डिस्क्लेमर देना जरूरी है।
Bloomberg Opinion में छपी एक रिपोर्ट के मुताबिक, जेमिनी से मिलने वाला आउटपुट डेमो में दिखाए गए आउटपुट की तुलना में कहीं धीमा है। हालांकि, वीडियो में यह डिस्क्लेमर था कि वीडियो में दिखाए गए रिस्पॉन्स की गति बढ़ाई गई थी, लेकिन सबसे बड़ा धोखा यह नहीं था। रिपोर्ट के मुताबिक, जेमिनी इस वीडियो को देख भी नहीं रहा था और वीडियो में सुने गए सभी रिस्पॉन्स वीडियो में दिखने वाले स्टिल फ्रेम और टेक्स्ट प्रॉम्प्ट से थे।
बता दें कि फेक वीडियो की इस घटना के बाद गूगल के एक प्रवक्ता ने Bloomberg Opinion को बताया कि वीडियो को ‘फुटेज की स्टिल इमेज फ्रेम का इस्तेमाल और टेक्स्ट प्रॉम्प्ट देकर बनाया गया था।’ जेमिनी को को-लीड करने वाले Oriol Vinyals ने X पर दावा किया कि यह वीडियो ‘डिवेलपर्स को प्रेरित’ करने के लिए थए।
उन्होंने अपने ट्वीट में लिखा, ‘वीडियो में दिखाई गई सभी यूजर प्रॉम्प्ट और आउटपुट असली थे। वीडियो में दिखाया गया कि जेमिनी के साथ मल्टीमॉडल यूजर एक्सपीरियंस कैसा दिख सकता है। हमने इसे डिवेलपर्स को इंस्पायर करने के लिए बनाया था।’
Really happy to see the interest around our “Hands-on with Gemini” video. In our developer blog yesterday, we broke down how Gemini was used to create it. https://t.co/50gjMkaVc0
We gave Gemini sequences of different modalities — image and text in this case — and had it respond… pic.twitter.com/Beba5M5dHP
एक आम यूजर के लिहाज से बात करें तो Google Gemini का रियल असेसमेंट तब होगा जब यह मॉडल सभी आम लोगों के लिए उपलब्ध हो जाए। Gemini AI ने कई बेंचमार्क में दूसरे AI मॉडल्स से बेहतर प्रदर्शन किया है। इसलिए यह कहना सही है कि इसके क्रिएटर्स ने शुरू से ही बेहतर काम किया है और अभी यह पर्फेक्ट नहीं है, अभी इसे और बढ़िया किया जा रहा है।
AbacusAI की सीईओ बिंदू रेड्डी ने X (Twitter) प्रोफाइल पर अपने एक्सपीरियंस के बारे में लिखा, ‘MMLU Gemini Beat को गहराई से इस्तेमाल करने पर मैंने देखा- Gemini वाकई में इस मुख्य बेंचमार्क के मामले में GPT-4 को हरा नहीं पाता है।’ उन्होंने एक लंबी पोस्ट लिखकर यह स्पष्ट किया कि आखिर क्यों Ultra साइज़ उतना अच्छा नहीं है जितना कि दावा किया जा रहा है।
Digging deeper into the MMLU Gemini Beat – Gemini doesn’t really Beat GPT-4 On This Key Benchmark.
The Gemini MMLU beat is specifically at CoT@32. GPT-4 still beats Gemini for the standard 5-shot – 86.4% vs. 83.7%
5-shot is the standard way to evaluate this benchmark. You… pic.twitter.com/2OIzF8tL1a
बता दें कि जेमिनी के लॉन्च के समय गूगल ने कहा था कि किस तरह कई बेंचमार्क में जेमिनी मॉडल ने जीपीटी-4 से बेहतर स्कोर किया। इसमें Massive Multitask Language Understanding (MMLU) भी शामिल है। बता दें कि यह AI मॉडल को टेस्ट करने के लिए एक फंडामेंटल मीट्रिक है और इसमें STEM, सोशल साइंस, मैथ व ह्यूमनिटीज जैसी एकेडमिक रेंज चेक की जाती हैं।
हालांकि, गूगल द्वारा शेयर किए गए रिसर्च पेपर में दिखाया गया कि अल्ट्रा वर्जन ने GPT-4 और GPT-3.5 से बेहतर स्कोर किया।
