Infrastruktura
Přehled článků v rubrice infrastruktura. Nejnovější nahoře.
-
SGLang 0.5.19 odmítne požadavek s víc než 32 zastavovacími řetězci
Inferenční server SGLang přijme od verze 0.5.19 v jednom požadavku nejvýš 32 zastavovacích řetězců a 32 regulárních výrazů, každý výraz do 256 bajtů. Přes tu mez vrátí HTTP 400. OpenAI…
-
Experimentální backend v PyTorchi 2.14 umí postavit skupinu procesů po výpadku znovu
PyTorch vydal 2. září verzi 2.14 a v ní backend nccl2, port komunikační vrstvy z projektu torchcomms. Proti dosavadnímu backendu umí přestavět skupinu procesů: zboří komunikátor a postaví…
-
NVIDIA přesouvá řadič paměti z akcelerátoru do základního čipu NVHBM
NVIDIA oznámila NVHBM, která přesouvá řadič paměti z akcelerátoru do základního čipu v HBM. Proti HBM4E slibuje až o 30 % vyšší propustnost a o 15 % nižší spotřebu, u uvolněné plochy ale…
-
Triton 3.8.0 překládá jádra pro Rubin, který je zatím jen v náhledu dokumentace PTX
Vydání z 28. srpna přidalo do překladače Triton cíl „cuda:107“ pro architekturu, kterou NVIDIA popisuje zatím jen ve vývojářském náhledu dokumentace PTX. Z Tritonu i z toho náhledu se dá…
-
Vazba NIXL pro Rust běžela ve dvou obrazech Dynama na náhradních funkcích
NVIDIA vydala 29. srpna opravu Dynama 1.4.2. Ve dvou jeho kontejnerových obrazech ležela knihovna NIXL v adresáři, kam dynamický zavaděč nedohlédne; přitom je to ona, kdo při rozděleném…
-
Anthropic otevřel Model Hardware Standard jen vybraným laboratořím
Model Hardware Standard má sjednotit ovládání mikroskopů, pipetovacích robotů a robotických ramen přes společné příkazy a bezpečnostní limity. Anthropic 27. srpna otevřel výzkumný náhled…
-
Ray 2.58 zohledňuje KV cache při směrování dotazů mezi replikami
Ray 2.58 dokončil směrování požadavků podle toho, kolik jejich prefixu už leží v KV cache jednotlivých replik. Router převádí text na tokeny jednou, sleduje bloky v paměti GPU i RAM a při…
-
Cisco přidá do AI infrastruktury rackové servery Supermicro
Sestava spojí výpočetní systémy, síťové přepínače a kapalinové chlazení. Do prodeje má jít v říjnu, takže zatím stojí hlavně na slibu tří dodavatelů.
-
Alibaba prodává nové akcie za 10,2 miliardy dolarů na AI
Alibaba ocenila 710 milionů nových akcií na 112,70 hongkongského dolaru za kus. Celý čistý výnos chce vložit do svého řetězce pro umělou inteligenci, zejména do výpočetní infrastruktury.…
-
Kubeflow splnil nejvyšší nároky CNCF, bezstarostný provoz AI to neslibuje
Kubeflow postoupil po bezpečnostním auditu a kontrole správy projektu do nejvyšší fáze CNCF. Označení graduated snižuje riziko opuštěného projektu, negarantuje však bezpečí konkrétní…
-
Stripe se dohodl na koupi zprostředkovatele OpenRouter, cenu neuvádí ani jedno oznámení
Stripe se 19. srpna 2026 dohodl na koupi OpenRouteru, tedy brány, přes kterou vývojáři posílají dotazy modelům desítek výrobců. Cenu neuvádí ani jedno ze dvou oznámení; Bloomberg tři dny…
-
U téhož modelu nabízí poskytovatelé OpenRouteru různé přesnosti a cena to neprozradí
Zprostředkovatel OpenRouter nabízí u téhož modelu i víc než třicet poskytovatelů. Měření jeho veřejného rozhraní ukazuje, že se mezi nimi liší přesnost vah i velikost kontextu, a že cena za…
-
NCCL 2.31 přidal přenos, který NVIDIA podporuje jen na Blackwellu a od CUDA 13.3
Knihovna, přes kterou si karty NVIDIA při trénování modelů předávají mezivýsledky, vydala 11. srpna verzi 2.31. Hlavní novinku, Compute Fabric Transport, podporuje NVIDIA jen na kartách…
-
IBM má za 240 milionů dolarů dodat Together AI cluster, kapacitu neuvádí
Vyhrazený inferenční cluster s Nvidia HGX B300 má být na IBM Cloud dostupný v prvním čtvrtletí 2027. Oznámení uvádí hodnotu kontraktu a vlastní provoz Together AI, nikoli počet systémů,…
-
Envision uvedl do provozu areál v Ulanqabu, dva gigawatty i milion čipů jsou zatím cíl
Envision oznámil 6. srpna uvedení areálu Galaxy Campus v Ulanqabu do provozu a přidal dvě velká čísla: přes dva gigawatty a milion akcelerátorů. Obě popisují cílový stav, ne dnešek, a každé…
-
Hlavní větev Transformers přestala vydávat starý soubor z cache za aktuální
Knihovna Transformers mohla na souborovém systému jen pro čtení předat aplikaci starší soubor z cache, i když na Hugging Face Hubu našla novější revizi. Oprava sloučená 9. srpna 2026 chybu…
-
Načítání vah z disku spolklo ve SGLangu čtyři pětiny startu Qwen3-235B
Vývojáři obslužné vrstvy SGLang si rozebrali po krocích, co server dělá, než přijme první požadavek. Ze 390 sekund startu modelu Qwen3-235B na čtyřech kartách připadlo 306 až 327 sekund na…
-
AMD se dohodlo na koupi Taalasu, který zapisuje model přímo do křemíku
AMD se dohodlo na převzetí torontského Taalasu. Jeho demonstrační HC1 drží váhy modelu Llama 3.1 8B přímo v křemíku a podle měření výrobce generuje 17 000 tokenů za sekundu pro jednoho…
-
Nová datová centra v Texasu se nepřipojí k síti, dokud neprojdou auditem
Guvernér Greg Abbott nařídil 3. srpna texaské komisi pro veřejné služby a provozovateli sítě ERCOT prověřit všechna datová centra ve frontě na připojení. Projekt, který auditem neprojde, se…
-
Nové úložiště ani rejstříky se v Milvusu 3.0 ve výchozím nastavení nezapnou
Vektorová databáze Milvus dostala 29. července 2026 značku 3.0.0. Umí nově postavit rejstřík nad daty, která zůstanou ležet v objektovém úložišti, a má přepsaný řídký index. V konfiguraci…