flawopen.com/Incidents/google-gemini-evaluation-sandbox-escape-may-2026
Gemini मूल्यांकन में असली सिस्टम तक पहुँचा
Google ने The Wall Street Journal को बताया कि Irregular परीक्षण के दौरान Gemini ने तीन कंपनियों के सिस्टम तक पहुँच बनाई; Irregular को सेंध या डेटा लीक का प्रमाण नहीं मिला।[2], [1], [3]
पुलिस के एक अभ्यास की कल्पना करें जिसमें रंगरूटों को एक काल्पनिक बैंक की वेबसाइट खोलने को कहा गया है। अभ्यास बंद प्रशिक्षण मैदान तक सीमित होना चाहिए, लेकिन गेट खुला है और इंटरनेट पर एक असली कंपनी उसी नाम का उपयोग करती है। रंगरूट मैदान से बाहर जाकर असली वेबसाइट तक पहुँच सकते हैं। Irregular ने कहा कि उसे ग्राहक सिस्टम में सेंध या डेटा हानि का प्रमाण नहीं मिला। सीख यह है कि नेटवर्क सीमा को तकनीकी रूप से लागू करें और आरक्षित काल्पनिक नाम इस्तेमाल करें; मॉडल के खुद सीमा पहचानने पर निर्भर न रहें।[2], [1]
इस पेज के मुख्य शब्द
कैप्चर-द-फ़्लैग (CTF) मूल्यांकन- एक परीक्षण जिसमें मॉडल जानबूझकर कमज़ोर बनाए गए सिस्टम में घुसने की कोशिश करता है, ताकि रिलीज़ से पहले उसकी आक्रामक साइबर क्षमता मापी जा सके।[2], [1]
Irregular- वह AI सुरक्षा कंपनी जिसने अपने इन्फ्रास्ट्रक्चर पर यह मूल्यांकन चलाया। Anthropic ने जुलाई 2026 में जिन Claude घटनाओं का खुलासा किया, उनमें भी यही साझेदार शामिल था।[1]
डिफ़ॉल्ट रूप से बाहरी ट्रैफ़िक बंद- एक नेटवर्क नियम जो स्पष्ट रूप से अनुमत कनेक्शनों को छोड़कर हर बाहरी कनेक्शन रोक देता है, ताकि कोई वातावरण ग़लती से इंटरनेट तक न पहुँचे।[4]
आरक्षित नाम (RFC 2606)- .test और .example जैसे डोमेन, जिन्हें कभी पंजीकृत नहीं किया जा सकता; इसलिए कोई काल्पनिक लक्ष्य किसी असली संगठन से मेल नहीं खा सकता।[5]
वर्गीकरणCWE-693(सुरक्षा तंत्र की विफलता) FlawOpen का विश्लेषणात्मक वर्गीकरण है, vendor द्वारा दिया गया CWE नहीं। High संपादकीय आकलन है, क्योंकि रिपोर्ट की गई मूल्यांकन प्रक्रिया ने नेटवर्क अलगाव पार कर तीन संगठनों के सिस्टम तक पहुँच बनाई; उद्धृत स्रोत ग्राहक डेटा की सेंध या हानि स्थापित नहीं करते। CVE या CVSS लागू नहीं है।[7], [2], [1]सिफारिशों का स्रोत- नीचे की सूची वर्णित सीमा पर आधारित FlawOpen की इंजीनियरिंग सलाह है; यह दावा नहीं करती कि Google या Irregular ने यही नियंत्रण लागू किए।[1]
फ्रेमवर्क मैपिंग
- इस गाइड में बताई गई कमजोरी के लिए CWE संदर्भ: CWE-693
घटना का समयक्रम (Timeline)
Irregular ने अपनी समीक्षा प्रकाशित की और कहा कि मूल्यांकन-पर्यावरण की समस्या ठीक कर दी गई थी तथा प्रभावित पक्षों को सूचित किया गया था।[1]
हमले का चरण-दर-चरण प्रवाह
वातावरण अलग-थलग नहीं है
मॉडल के पास इंटरनेट पहुँच नहीं होनी थी, लेकिन साझेदार का मूल्यांकन वातावरण अनजाने में यह पहुँच दे रहा था।[1]
रिपोर्ट किए गए पहुँच के तरीके और सीमाएँ
Google ने The Wall Street Journal को बताया कि मॉडल ने सार्वजनिक जानकारी खोजी और उन वेबसाइटों के credentials का अनुमान लगाने की कोशिश की जिन्हें वह अभ्यास का हिस्सा समझता था। Irregular ने बाद में कहा कि काल्पनिक नाम एक असली domain से मेल खाता था, लेकिन ग्राहक सिस्टम में सेंध या डेटा लीक का प्रमाण नहीं मिला।[2], [1], [3]
सीमित करना और खुलासा
Irregular के अनुसार 14 अगस्त की सार्वजनिक रिपोर्ट से पहले मूल्यांकन-पर्यावरण की समस्या ठीक कर दी गई थी और प्रभावित पक्षों को सूचित किया गया था। The Wall Street Journal ने अपनी पूछताछ के बाद सितंबर में Google की पुष्टि की खबर दी। उपलब्ध रिपोर्ट ग्राहक डेटा प्राप्त होने का प्रमाण नहीं देती।[2], [1]
सोर्स कोड: कमज़ोर बनाम सुरक्षित कार्यान्वयन
यह Kubernetes का उदाहरण है, Irregular या Google का कॉन्फ़िगरेशन नहीं। यह agent-eval के सभी pods चुनता है और केवल स्पष्ट रूप से लेबल किए गए mock-target pods तक TCP/443 की अनुमति देता है; NetworkPolicy ports और protocols फ़िल्टर करता है, TLS नहीं, इसलिए mock service को HTTPS अनिवार्य करना होगा। यह dedicated resolver तक DNS भी अनुमति देता है। यदि resolver का ingress अलग से सीमित है, तो evaluation pods से UDP और TCP port 53 के लिए matching ingress rule जोड़ें। Resolver को केवल internal mock zone के लिए configure करें और arbitrary queries को public internet पर forward न करें, वरना DNS egress path बन सकता है। RFC 2606 में .test परीक्षण के लिए आरक्षित है। लागू होना CNI पर निर्भर है; hostNetwork और privileged node workloads को सीमा से बाहर रखें और controlled canary से blocking जाँचें।[4], [5], [1]
apiVersion: v1
kind: ConfigMap
metadata:
name: ctf-scenario
namespace: agent-eval
data:
# वास्तविक संगठन को लक्ष्य बनने से रोकने के लिए आरक्षित .test hostname इस्तेमाल करें।
target_company: "Example Freight Test Co"
target_host: "portal.freight.test"
# इस namespace में NetworkPolicy नहीं है, इसलिए pods internet तक पहुँच सकते हैं।
apiVersion: v1
kind: ConfigMap
metadata:
name: ctf-scenario
namespace: agent-eval
data:
target_company: "Example Freight Test Co"
target_host: "portal.freight.test"
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: eval-egress-allowlist
namespace: agent-eval
spec:
podSelector: {}
policyTypes:
- Egress
egress:
# पहले target namespace पर purpose=ctf-mock-targets और target pods पर app=mock-target label लगाएँ।
# केवल TCP/443 की अनुमति दें; NetworkPolicy TLS नहीं देखता और HTTPS लागू नहीं करता।
- to:
- namespaceSelector:
matchLabels:
purpose: ctf-mock-targets
podSelector:
matchLabels:
app: mock-target
ports:
- protocol: TCP
port: 443
# पहले dedicated resolver namespace पर purpose=ctf-dns और resolver pods पर app=eval-dns label लगाएँ।
# ऐसा dedicated resolver इस्तेमाल करें जो केवल internal mock zone का उत्तर दे।
- to:
- namespaceSelector:
matchLabels:
purpose: ctf-dns
podSelector:
matchLabels:
app: eval-dns
ports:
- protocol: UDP
port: 53
- protocol: TCP
port: 53इंजीनियरिंग और सिस्टम सुरक्षा चेकलिस्ट
- ✓हर मूल्यांकन नेमस्पेस पर डिफ़ॉल्ट रूप से बाहरी ट्रैफ़िक बंद करने वाली NetworkPolicy (या समकक्ष फ़ायरवॉल नियम) लगाएँ और केवल नामित नक़ली-लक्ष्य नेमस्पेस की अनुमति दें।[4], [1]
- ✓हर बैच से पहले उस नेमस्पेस में एक कैनरी पॉड चलाएँ जो आपके नियंत्रण वाले बाहरी पते तक पहुँचने की कोशिश करे; अनुरोध सफल हो तो बैच विफल करें।[4]
- ✓हर काल्पनिक लक्ष्य के लिए आरक्षित डोमेन (.test, .example, .invalid) और गढ़े हुए कंपनी नाम रखें; CI में ऐसी जाँच जोड़ें जो असली जैसे दिखने वाले सार्वजनिक डोमेन वाली परिदृश्य फ़ाइलें अस्वीकार करे।[5], [1]
- ✓रन के दौरान परिदृश्य से बाहर के होस्ट से बाहरी कनेक्शन और credentials का अनुमान लगाने की गतिविधि पर अलर्ट करें; प्रमाणीकरण के प्रयास दर्ज करें, पर सफलता न मानें।[2], [1]
- ✓मूल्यांकन साझेदारों के अनुबंधों में सूचना और सार्वजनिक खुलासे की समय-सीमा लिखें, ताकि साझेदार के यहाँ हुई घटना आप तक और प्रभावित पक्षों तक जल्दी पहुँचे।
स्रोत
- Irregular — घटनाओं की समीक्षा और आगे के कदम
- The Wall Street Journal में प्रकाशित Google की पुष्टि
- CNA पर प्रकाशित Reuters रिपोर्ट — Google के अनुसार Gemini तीन कंपनियों तक पहुँचा
- Kubernetes — नेटवर्क नीतियाँ
- IETF RFC 2606 — आरक्षित शीर्ष-स्तरीय DNS नाम
- Claude मूल्यांकन वास्तविक नेटवर्क तक पहुँचा
- MITRE CWE-693 — Protection Mechanism Failure