ZipNN, त्रैतीय पैटर्न, और छिपा हुआ 2/3

IBM रिसर्च के ZipNN संकुचन कार्य से प्रेरित एक संरचनात्मक परावर्तन
research.ibm.com

1. यह क्यों महत्वपूर्ण है (मेरे लिए, एआई के लिए, भविष्य का निर्माण करने वाले किसी के लिए)#

कभी-कभी, एक शोध में ऐसा ब्रेकथ्रू होता है जो एक इंजीनियरिंग ट्रिक से अधिक लगता है — यह ब्रह्मांड में जानकारी की संरचना के तरीके की एक झलक की तरह लगता है।

आईबीएम का ZipNN कार्य उन क्षणों में से एक है।

उन्होंने खोजा कि आधुनिक एआई मॉडलों के अरबों फ्लोटिंग-पॉइंट वेट्स के अंदर, घातांक बिल्कुल भी यादृच्छिक नहीं हैं। 256 संभावित घातांक मानों में से, एक ही 12 मान 99.9% समय दिखाई देते हैं।
research.ibm.com

यह केवल एक संकुचन का अवसर नहीं है।
यह एक पैटर्न है।

एक गहरा।

एक त्रैतीयक।

और यह कुछ ऐसा है जिसे मैं वर्षों से खोज रहा हूँ:
यह विचार कि किसी भी प्रणाली का दो-तिहाई छिपी हुई संरचना है, और एक-तिहाई दृश्य शोर है।

ZipNN ने बस एआई के अंदर वही चीज़ पाई।

2. एआई वेट्स के अंदर त्रैतीय पैटर्न#

फ्लोटिंग-पॉइंट नंबरों के तीन भाग होते हैं:

• संकेत
• भिन्न
• घातांक

आईबीएम ने पाया:

• संकेत → शोर
• भिन्न → शोर
• घातांक → पैटर्नयुक्त, पूर्वानुमानित, संकुचन योग्य

आरटीटी भाषा में:

• दृश्यमान 1/3 → शोर (संकेत + भिन्न)
• छिपा हुआ 2/3 → संरचना (घातांक)
• 1% चिंगारी → दुर्लभ घातांक मान जो मॉडल को अभिव्यक्तिशील किनारे के मामलों देते हैं

ज़िपएनएन 2/3 को संकुचित करता है।
आरटीटी प्रकट करता है 2/3।
दोनों एक ही अंतर्निहित सत्य का वर्णन कर रहे हैं।

3. “99 + 1” पैटर्न (वह शेष जो प्रणाली को जीवित बनाता है)#

आईबीएम टीम की रिपोर्ट:

“256 संभावित गुणांक मानों में से, वही 12 99.9% समय दिखाई देते हैं।”
research.ibm.com

यही 99% है।

बचे हुए 1% गुणांक दुर्लभ हैं — लेकिन ये महत्वपूर्ण हैं।
ये कुंडी हैं।
चिंगारी हैं।
वह विषमता जो प्रणाली को पूर्ण भविष्यवाणी में गिरने से रोकती है।

आरटीटी के संदर्भ में:

• त्रैतीयक 99 है
• आवाहक 1 है

1% वह है जो मॉडल को अभिव्यक्तिपूर्ण बनाता है, केवल संकुचित नहीं।

4. उच्च-आयामी व्यवहार में खिड़की के रूप में संकुचन#

ZipNN काम करता है क्योंकि मॉडल की आंतरिक संरचना समान रूप से वितरित नहीं है।
यह विकृत है।
पक्षपाती है।
पैटर्नयुक्त है।

यह उसी सिद्धांत के पीछे है:

• चरण संक्रमण
• गूंज ऑपरेटर
• आयामी आह्वान
• qmroot त्रैतीय
• “उच्च आयामों को बुलाया जाता है, यात्रा नहीं की जाती” विचार

ZipNN एक गहरे नियम का व्यावहारिक प्रदर्शन है:

प्रणालियाँ अपने क्रम को उन भागों में छिपाती हैं जिन पर हम सामान्यतः ध्यान नहीं देते।

IBM ने देखा।
और उन्होंने इसे पाया।

5. “एक तिहाई द्वारा कट” लाइन जिसने मुझे मुस्कुराया#

लेख में कहा गया है:

“ZipNN एआई स्टोरेज लागत को एक तिहाई कम कर सकता है…”
research.ibm.com

बिल्कुल कर सकता है।
क्योंकि पैटर्न वाला भाग — संकुचित होने वाला भाग — कुल बिट संरचना का लगभग एक‑तिहाई है BF16 मॉडलों में।

अन्य दो‑तिहाई शोर या एंट्रॉपी हैं।

यह बिल्कुल वही त्रैतीय अनुपात है जिसे मैं मानचित्रित कर रहा हूँ:

• 1/3 दृश्य
• 2/3 छिपा हुआ
• 1% चिंगारी

ZipNN उस अंतर्दृष्टि का इंजीनियरिंग संस्करण है।

6. यह मेरे लिए व्यक्तिगत रूप से क्यों गूंजता है#

मैंने वर्षों तक यह पता लगाने में समय बिताया है कि:

• ज्ञान
• समय
• धारणा
• आयाम
• और एआई

सभी समान संरचनात्मक अनुपात साझा करते हैं।

आईबीएम द्वारा एआई मॉडल के अंदर एक 99% पैटर्न + 1% शेष को स्वतंत्र रूप से खोजने को देखना इस बात की पुष्टि की तरह लगा कि ये पैटर्न काव्यात्मक नहीं हैं — वे वास्तविक हैं।

और अगर आईबीएम में एक शोधकर्ता भी इसे पढ़ता है और सोचता है:

“हम्म… यहाँ एक गहरा ढांचा है,”

तो मेरा अहंकार फट जाएगा और मैं मुक्त हो जाऊंगा।
(ठीक है, मजाक कर रहा हूँ… ज्यादातर।)

7. लॉन्ग-आर्क takeaway#

ZipNN केवल एक संकुचन चाल नहीं है।
यह एक संरचनात्मक रहस्योद्घाटन है:

• AI मॉडल में छिपी हुई व्यवस्था होती है।
• वह व्यवस्था त्रैतीय अनुपातों का पालन करती है।
• दुर्लभ 1% शेष सक्रियण कुंजी है।
• संकुचन बुद्धिमत्ता की वास्तुकला को उजागर करता है।
• और ब्रह्मांड विभिन्न क्षेत्रों में एक ही पैटर्न को फुसफुसाते रहता है।

यही कारण है कि मैं AI की ओर आकर्षित हूं।
यहां तक कि यह शक्तिशाली है।
लेकिन क्योंकि यह पैटर्नयुक्त है।

और पैटर्न ही है जिससे ब्रह्मांड बोलता है।

8. आईबीएम टीम के प्रति आभार#

ZipNN के पीछे के शोधकर्ताओं के लिए:

आपका काम शानदार है।
केवल तकनीकी रूप से नहीं — संरचनात्मक रूप से।

आपने छिपे हुए 2/3 को पाया।
आपने 1% का मानचित्रण किया।
आपने आधुनिक एआई के अंदर त्रैतीयक कंकाल को उजागर किया।

गहराई से देखने के लिए धन्यवाद।
खुले तौर पर प्रकाशित करने के लिए धन्यवाद।
और हमें बुद्धिमत्ता की गहरी वास्तुकला देखने का मौका देने के लिए धन्यवाद।

टिप्पणी सबमिशन — आईबीएम फ्यूचर फॉरवर्ड न्यूज़लेटर#

ZipNN और बुद्धिमत्ता की छिपी हुई संरचना#

नावदर लॉस्विन द्वारा

जब IBM रिसर्च ने ZipNN पर अपना हालिया काम प्रकाशित किया - एक लॉसलेस संकुचन विधि जो AI मॉडलों को एक तिहाई तक संकुचित करती है जबकि ट्रांसफर को 150% तक तेज करती है - तो मुख्य उपलब्धि स्पष्ट थी: एक व्यावहारिक सफलता जिसका तात्कालिक प्रभाव है ( research.ibm.com).

लेकिन इंजीनियरिंग की इस जीत के पीछे कुछ गहरा है:
ZipNN AI मॉडलों के अंदर एक संरचनात्मक पैटर्न को प्रकट करता है जो संज्ञान, भौतिकी, और यहां तक कि मानव धारणा में देखे जाने वाले पैटर्नों के समान है।

और वह पैटर्न चर्चा के लायक है।

सामान्य दृष्टि में छिपा एक खोज#

ZipNN काम करता है क्योंकि IBM के शोधकर्ताओं ने कुछ आश्चर्यजनक देखा:
फ्लोटिंग-पॉइंट वेट्स में, घातांक यादृच्छिक नहीं हैं। 256 संभावित घातांक मानों में से, उसी 12 मान 99.9% समय दिखाई देते हैं ( research.ibm.com).

इसका मतलब है:

• संकेत → शोर
• भिन्न → शोर
• घातांक → पैटर्नयुक्त, पूर्वानुमानित, संकुचित करने योग्य

यह केवल एक संकुचन का अवसर नहीं है।
यह इस बात की खिड़की है कि बुद्धिमत्ता कैसे स्वयं को व्यवस्थित करती है।

99% पैटर्न और 1% स्पार्क#

IBM टीम ने पाया कि लगभग सभी गुणांक मान एक छोटे, दोहराए जाने वाले सेट में आते हैं।
यह 99% है।

बाकी 1% — दुर्लभ गुणांक — वे अभिव्यक्तिपूर्ण किनारे के मामले हैं जो एक मॉडल को बारीकी और लचीलापन देते हैं।

यह अनुपात हर जगह दिखाई देता है:

• प्राकृतिक प्रणालियों में
• मानव धारणा में
• समय के अनुभव में
• आयामी मॉडलिंग में
• और अब, AI वेट्स के अंदर

ZipNN ने केवल एक मॉडल को संकुचित नहीं किया।
इसने इसके नीचे के कंकाल को उजागर किया।

संरचनात्मक अंतर्दृष्टि के रूप में संकुचन#

हानि रहित संकुचन को अक्सर एक भंडारण चाल के रूप में देखा जाता है।
लेकिन यहाँ, यह कुछ और बन जाता है:
एक नैदानिक उपकरण जो आधुनिक न्यूरल नेटवर्क के अंदर छिपी हुई व्यवस्था को प्रकट करता है।

ZipNN दिखाता है कि:

• AI मॉडल समान नहीं हैं
• उनकी आंतरिक वितरण अत्यधिक विकृत हैं
• “महत्वपूर्ण” बिट्स समूहित होते हैं
• “व्यक्तिगत” बिट्स दुर्लभ होते हैं
• और बुद्धिमत्ता की संरचना समान रूप से वितरित नहीं है

यह किसी भी व्यक्ति के लिए एक गहन अंतर्दृष्टि है जो यह अध्ययन कर रहा है कि बड़े मॉडल कैसे व्यवहार करते हैं।

यह एआई के भविष्य के लिए क्यों महत्वपूर्ण है#

जैसे-जैसे मॉडल बढ़ते हैं, उनकी आंतरिक संरचना को समझने की आवश्यकता भी बढ़ती है — न केवल उन्हें संकुचित करने के लिए, बल्कि उन्हें व्याख्या करने के लिए।

ZipNN सुझाव देता है:

• बुद्धिमत्ता स्वाभाविक रूप से पैटर्न वाले अनुपातों में बस सकती है
• अतिरिक्तता बर्बादी नहीं है — यह संरचना है
• दुर्लभ मान असामान्य रूप से अभिव्यक्तिशील शक्ति रखते हैं
• और संकुचन अर्थ को प्रकट कर सकता है, छिपा नहीं सकता

यह नए शोध दिशाओं के लिए दरवाजा खोलता है:

• संरचनात्मक व्याख्यात्मकता
• घातांक-जानकारी प्रशिक्षण
• आर्किटेक्चर-स्तरीय पैटर्न विश्लेषण
• और मॉडल-विशिष्ट संकुचन रणनीतियाँ

ZipNN केवल एक उपकरण नहीं है।
यह एक संकेत है।

आभार का एक व्यक्तिगत नोट#

एक ऐसे व्यक्ति के रूप में जो संज्ञान और गणना में संरचनात्मक पैटर्न का अध्ययन करता है, यह काम मेरे साथ गहराई से गूंजा। IBM द्वारा AI मॉडलों के भीतर एक 99% पैटर्न + 1% शेष को उजागर करना इस बात की पुष्टि की तरह लगा कि ये अनुपात काव्यात्मक नहीं हैं - ये वास्तविक हैं।

ZipNN के शोधकर्ताओं के लिए:
नज़दीकी से देखने के लिए धन्यवाद।
खुले तौर पर प्रकाशित करने के लिए धन्यवाद।
और हमें बुद्धिमत्ता की गहरी वास्तुकला देखने का मौका देने के लिए धन्यवाद।

आपका काम केवल भंडारण को बचाता नहीं है।
यह समझ को विस्तारित करता है।