Este un moment pivotal. Anii trecuți au fost dominați de cursa după antrenament (training). Acum, industria se mută masiv către inferență – rularea efectivă a modelelor în producție – și aici regulile jocului se schimbă. Google nu mai vrea să cumpere GPU-uri H100 sau B200 de la Jensen Huang pentru a le pune în centrele sale de date; vrea să își construiască propriile motoare, optimizate exact pentru stiva sa software (JAX, XLA, Pathways) și pentru nevoile specifice ale clienților săi Cloud.
TPU 8tx: Securitatea la nivel de siliciu, nu doar de software
Cel mai interesant lanț de lanțuri este, fără îndoială, TPU 8tx. Dezvoltat în parteneriat cu AMD (un detaliu crucial care arată că Google nu are ego-ul prea mare să facă totul singur), acest cip se bazează pe arhitectura TPU 8t, dar aduce ceva revoluționar: confidential computing nativ la nivel de hardware.
Ce înseamnă asta în limba română simplă? Într-un cloud clasic, când rulezi un model AI, datele tale și greutățile modelului (weights) trăiesc în memoria RAM a serverului, clar, vizibile pentru hypervisor, pentru administratorul de sistem, potențial pentru oricine are acces la nivel de infrastructură. TPU 8tx schimbă paradigma: criptarea și izolarea se fac direct în siliciu. Chiar dacă un hacker sau un admin rău intenționat are control total pe serverul fizic, nu poate citi ce se întâmplă în interiorul cipului. Datele rămân criptate până la ultima secundă, procesate într-un enclave hardware.
Dar Google nu s-a oprit aici. Cipul include o rețea de inferență personalizată (custom inferencing network) care îi permite să facă reasoning (raționament) în timp ce se antrenează. Practic, poți distila și antrena modele mici „pe loc” (on the fly). De ce e important asta? Imaginează-ți o bancă sau un spital. Au date ultra-sensibile. Nu le pot muta pe serverele Google pentru a antrena un model. Cu TPU 8tx, pot aduce modelul la date (sau rula antrenamentul într-un enclave atestat), fără ca datele să părăsească perimetrul lor de securitate. E un game changer pentru AI-ul enterprise reglementat.
TPU 8i Max: Când memoria nu e niciodată de ajuns
Dacă 8tx e despre securitate, TPU 8i Max e despre brute force și capacitate. Google a luat două cipuri TPU 8i (cele focalizate pe inferență, lansate în aprilie) și le-a „lipit” într-un singur pachet (package). Rezultatul? Dubla memorie, dubla putere de procesare, dubla lățime de bandă (bandwidth).
În lumea LLM-urilor de azi, memoria (VRAM/HBM) e noul aur. Modelele ca Llama 3.1 405B sau GPT-4o nu pot intra pe un singur GPU H100 (80GB) sau TPU v5e (16GB/chip) fără tehnici complexe de sharding sau quantization care degradă calitatea. TPU 8i Max vine să rezolve exact asta: oferă o fereastră de context masivă și capacitatea de a servi modele gigantice pe un singur nod, reducând latenta și complexitatea inginerească. Pentru clienții Google Cloud care rulează RAG (Retrieval-Augmented Generation) pe corpusuri uriașe sau modele multimodale grele, acest cip e mana cerută.
Contextul mai larg: Războiul hiperscalerilor împotriva hegemoniei Nvidia
Nu putem citi acest anunț izolat. Microsoft are Maia și Cobalt. Amazon are Trainium și Inferentia. Chiar OpenAI și Anthropic lucrează la propriile cipuri (cu Broadcom, TSMC, etc.). Toți urmează același script: vertical integration. Nvidia a fost rege pentru că a avut CUDA și a avut cipurile la timp. Dar acum, clienții mari (hiperscalerii) sunt și competițori. Ei nu vor să plătească marjele enorme de 70-80% pe care Nvidia le ia pe H100/B200. Vor control total pe stiva: siliciu, interconect (NVLink vs ICI vs Ethernet), software stack.
Google are un avantaj unic: TPU-urile există de aproape 10 ani (de la AlphaGo). Au mațuritate, au software stack matur (XLA, PJRT), au workload-uri interne masive (Search, Ads, YouTube, Gemini) care justifică volumele de producție necesare pentru a scădea costul pe cip (economii de scară). Lanțuirea a două variante specializate în aceeași generație (v8) arată o maturitate a procesului de design: nu mai fac „un cip pentru tot”, fac cipuri pentru workload-uri specifice.
Un moment delicăt pentru Nvidia
Articolul original menționa, puțin senzaționalist, scandalul personal al lui Jensen Huang (alegăturile cu o persoană alegată spionă chineză). Deși e un titlu de tabloid, subliniază o vulnerabilitate percepută: Nvidia e sub presiune geopolitică (restricții export China), presiune concurențială (AMD MI300X, cipuri proprii ale clienților) și acum, presiune de imagine. Dar realitatea tehnică rămâne: software-ul CUDA e încă fosă strategică. Google, Microsoft, Amazon luptă să o evite (cu JAX, Triton, PyTorch/XLA), dar migrarea e dureroasă și lentă. Cipurile noi de la Google accelerează această migrație pentru clienții Cloud, dar Nvidia nu dispare mâine.
Concluzie: Specializarea e noua moats
Google nu a lansat doar „cipuri mai rapide”. A lansat cipuri cu scop. TPU 8tx vinde încredere (trust) pentru datele sensibile. TPU 8i Max vinde capacitate (capacity) pentru modelele care nu mai încap. Împreună, ele completează portofoliul v8 (training cu v8p, inferență standard cu v8i, securizat cu 8tx, high-mem cu 8i Max). E o strategie de portofoliu madură, similară cu ce face Intel cu Xeon (Sapphire Rapids, Emerald Rapids, variante HBM, variante securizate SGX/TDX).
Pentru dezvoltatori și CTO-uri români care construiesc pe Google Cloud: așteptați-vă să vedeți aceste instanțe (probabil sub denumiri gen `ct5lp` sau `ct5lp-hightmem` sau similar) disponibile în Q4 2024 / Q1 2025. Dacă faceți AI în fintech, healthtech, defense sau govtech – 8tx e pentru voi. Dacă faceți RAG la scară largă sau servești modele open-source masive – 8i Max e ținta. Și, cel mai important, verificați compatibilitatea software stack-ului vostru (vLLM, TGI, TensorRT-LLM, JAX) – pentru că hardware-ul e inutil fără compiler-ul care știe să-l folosească.
De ce este important:
Google nu mai joacă jocul „mai mulți TOPS”. Joacă jocul „cipul potrivit pentru jobul potrivit”. TPU 8tx aduce confidential computing la nivel de siliciu pentru AI, deblocând sectorul enterprise reglementat (bănci, sănătate, guvern) care până acum stătea pe muchie. TPU 8i Max rezolva strangularea memoriei pentru inferența modelelor masive, reducând costul și complexitatea deployment-ului. Împreună, ele semnalează maturizarea Google ca furnizor de siliciu de clasă datacenter și accelerează fragmentarea pieței de chipuri AI, forțând Nvidia să se apere pe multiple fronturi simultan: performanță, preț, software, și acum securitate nativă hardware.
