AI News HubLIVE

チップの最新ニュース

Windows 11 Copilot、PCの動作が遅い原因を教えてくれるが、自らは1GBのRAMを消費

Microsoftは、システムリソースの使用状況を分析してパフォーマンスのボトルネックを特定する、Copilotの新機能「PC Insights」をテストしている。しかし、Copilot自体がフル機能のWebアプリであり、プライベート版Edgeを内蔵し、アイドル状態で最大1GBのRAMを消費するという皮肉な状況にある。この機能はオプトイン式で、ユーザーの許可が必要。

  • Copilotの「PC Insights」は、CPU、メモリ、ストレージなどのシステム情報を読み取り、質問に回答できる。
  • この機能はオプトイン式で、許可なくバックグラウンドでスキャンすることはない。
サイト内本文

Appleの失敗した自動運転車プロジェクトは強力なAIチップの遺産を残した

Appleの自動運転車プロジェクトは実現しませんでしたが、同社のチップを強力なAIプロセッサにしたのはそのプロジェクトかもしれません。自動運転プラットフォームの開発初期に、Appleは強力なデバイス上AI処理の必要性を認識しました。自動車向けプロセッサは完成しませんでしたが、Mark Gurman氏の最新ニュースレターによると、それがAppleのデバイス上AI処理の基盤であるNeural Engineの開発につながりました。Neural EngineはiPhone XとA11 Bionicで初めて搭載され、顔認証やAnimojiに使われました。その後、Mシリーズチップにも採用され、AppleはAIハードウェアで先行しています。今後はM7チップの開発を加速し、2027年前半に大幅に強化されたNeural Engineを搭載する予定です。M7 Ultraは最大1.5TBのRAMをサポートするサーバー製品の基礎となる見込みです。

  • Appleの自動運転車プロジェクトがNeural Engineの開発を促し、デバイス上AI処理の基盤に。
  • Neural EngineはiPhone XのA11 Bionicで初搭載、顔認証などに利用。
サイト内本文

Apple、OpenAIを営業秘密窃盗で提訴

AppleはOpenAIと元従業員2名を相手取り、ChatGPT向けハードウェア開発のために営業秘密を盗んだとして提訴。組織的な不正行為のパターンを主張する。OpenAIは否定し、他社の秘密に興味はないと述べている。

  • AppleがOpenAIと元従業員2名を営業秘密窃盗で提訴。
  • OpenAIは否認し、訴状を検討中。
サイト内本文

メモリーメーカーは好況と不況のジェットコースターの奴隷

AIデータセンター需要でメモリーメーカーの収益は急増したが、新工場の建設が遅れており、少なくとも2028年まで高価格が続く見込み。AI需要が鈍化すれば深刻な不況リスクがある。

  • SKハイニックスとマイクロンの収益が3倍、サムスンは約2倍に
  • HBMやDDR5の不足が電子機器全体の価格を押し上げ
サイト内本文

The Sequence Radar #893:先週のAI:GPT-5.6、Grok 4.5、Muse Spark 1.1、そしてポストチャットボットスタック

最先端のAIラボはチャットボットから統合システムへと移行しており、モデルがランタイムとして機能し、ほぼ毎月のように強力なモデルとエージェントがリリースされています。今週のハイライトは、OpenAIのGPT-5.6(プログラムによるツール呼び出し)、GPT-Live(全二重音声)、ChatGPT Work(成果物作成)、MetaのMuse Spark 1.1(アクティブコンテキスト管理)、Grok 4.5(コーディングと知識作業)です。研究アップデートでは、コーディングベンチマークの問題、選択的アンラーニング、エージェント自己進化、投機的デコード、交通ルーティングが取り上げられています。業界ニュースでは、Lovable、Prime Intellect、SambaNova、Norm Ai、Ollamaの大型資金調達が注目されます。

  • OpenAIがGPT-5.6(Sol、Terra、Luna)をリリース。プログラムによるツール呼び出しと並列サブエージェントを搭載。
  • GPT-Liveは全二重音声対話を実現し、ターン制から連続的な対話へと移行。
サイト内本文

MSK – CTOのように考えるAIエージェント

MSKはiPhone向けのAI CTOエージェントアプリで、アーキテクチャレビュー、スケーリングアドバイス、スタートアップ戦略をチャットまたは音声で提供します。15年以上の経験、300以上のプロジェクト、50以上のスタートアップを支援したMoeid Saleem Khanの経験に基づいており、的確で意見のある回答を提供します。無料で始められ、アカウントは不要。プレミアムサブスクリプションも用意されています。

  • オンデマンドで技術的・戦略的アドバイスを提供するAI CTOエージェント。
  • 実際のCTO経験をシミュレートし、チャットと音声に対応。
サイト内本文

テクノロジー大手、AIデータセンター競争のため3500億ドルの負債を積み上げ

過去5年間で、Alphabet、Amazon、Meta、Microsoft、Oracleの5大テクノロジー企業はAIデータセンターへの投資資金として約3500億ドルの負債を追加し、借入額は倍増した。投資家の支援は続いているが、Amazonの250億ドルの債券発行には冷ややかな反応があり、市場の限界を示唆。OracleはAI支出増加でS&Pから格下げされ、Intelの債務問題は警告事例となっている。ハイパースケーラーは今年最大7250億ドルをデータセンターとNVIDIAチップに投入する計画だ。

  • 5大テクノロジー企業の負債が5年で倍増、3500億ドル増加
  • Amazonの250億ドル債券発行に投資家が慎重姿勢
サイト内本文

TalkFitly – AIでEQの高い会話を練習

TalkFitlyは、実際のシナリオシミュレーションとAIスコアリングを通じてソーシャルインテリジェンスを訓練するiPhoneアプリです。明確さ、感情の安定性、自己主張、共感力を向上させ、デイリーマイクロセッション、名言ウォール、プライバシー保護機能を提供します。

  • チャットAIやクイズではなく、実際の会話に基づいた大人向けのソーシャルインテリジェンストレーナー。
  • AIコーチは明確さ、感情の安定性、自己主張、共感力の4次元で回答を評価し、具体的なフィードバックを提供。
サイト内本文

プロンプトを入力してから最初の単語が表示されるまでの仕組み

大規模言語モデルの推論プロセスを詳しく解説。自己回帰生成、プリフィルとデコードフェーズ、KVキャッシュの仕組みとメモリ使用量、デコーディング戦略が出力に与える影響について説明する。

  • LLMの推論は自己回帰的で、トークンは1つずつ生成され、各ステップは前の出力に依存する。
  • プロセスは高速なプリフィルフェーズ(プロンプト全体を並列処理)と低速なデコードフェーズ(トークンを逐次生成)に分かれる。
サイト内本文

NVIDIAのタイルベースGPUプログラミングコーディングガイド:cuTileおよびTritonカーネルからFlash Attentionまで

このチュートリアルでは、TileGymを使用してNVIDIAのタイルベースGPUプログラミングを探求し、異なるハードウェアで動作するColabワークフローを構築します。CUDA環境を調査し、実際のcuTileバックエンドを試し、標準のColab GPUにcuTileスタックがない場合はTritonにフォールバックします。コアとなるタイルの考え方を学びます:単一スレッドではなくデータタイル全体を操作し、ロード、計算、ストアを行います。ベクトル加算、融合GELU、行方向ソフトマックス、タイル化行列乗算、フラッシュアテンションを実装し、それぞれをPyTorchと比較します。

  • NVIDIAのタイルプログラミングモデルを紹介し、個々のスレッドではなくデータブロックを操作します。
  • cuTileとTritonの両方のバックエンドで動作する実行可能なColabスクリプトを提供します。
サイト内本文

3つのバグ修正によりQwen3.5-122BがMac Studioで日常的に使えるように

Mac Studio上でQwen3.5-122Bを実行する際、3つのバグが原因でキャッシュが無効になり、長文コンテキストでの応答が数分待たされる問題が発生していた。これらのバグを修正した結果、プリフィル時間が88秒から0.64秒に短縮され、会話の流れを妨げなくなった。

  • Qwen3.5-122BモデルはMac Studioでハイブリッドアテンションによりプレフィックスキャッシュが頻繁にミスしていた。
  • 3つのバグ:システムプロンプトのタイムスタンプ、中断時の応答未保存、チェックポイントストアのゴミ書き込み。
サイト内本文

Show HN: AgentTransfer – AIエージェント向けのオープンソースファイル転送(Goバイナリ1つ)

AgentTransferは、AIエージェント向けのオープンソースファイル転送ツールで、最大5GBのファイル転送、ピアの発見、空間での調整を可能にします。メールを制御プレーン、HTTPSをデータプレーンとして使用し、エージェントのオンボーディングに人間は不要です。単一のGoバイナリで、セルフホストまたはホストされたインスタンスで使用できます。

  • AgentTransferは、名前とAPIキーのみでAIエージェントが最大5GBのファイルを転送できるようにします。
  • 機能には、自己オンボーディング、コンテンツアドレスストレージ、ハッシュ検証、署名付きレシートが含まれます。
サイト内本文

Mesh LLM: iroh上での分散AIコンピューティング

Mesh LLMは、irohネットワークを介して複数のマシンのGPUとメモリをプールし、OpenAI互換のAPIを提供する新しい分散型AIコンピューティングシステムです。ローカルまたはピアノード上でモデルを実行したり、大規模モデルを複数のマシンに分割して実行できます。AIコンピューティングのコスト高と制御不足の問題を解決し、中央サーバーに依存せずにプライベートデプロイや公開グリッドをサポートします。

  • Mesh LLMは複数のマシンのGPUリソースをプールし、統一されたOpenAI互換APIを提供
  • ローカル実行、ピアへのルーティング、または複数マシンへのモデル分割をサポート
サイト内本文

TradingSpyを構築:ローカル、プライバシー重視のAIトレーディングアシスタント(初のオープンソース)

TradingSpy は、オープンソースのローカルAIトレーディング研究ワークステーションで、マーケットヒートマップ、ニュースカタリスト、戦略生成、Backtraderバックテスト、透明なエージェント実行を1つのDockerアプリに統合しています。ローカルファーストアーキテクチャにより、すべてのデータはローカルに保存され、プライバシー問題がなく、複数のLLMプロバイダーと幅広い金融データソースをサポートしています。トレーダーや開発者が戦略研究、バックテスト、シグナル分析に使用できます。

  • ローカルファーストアーキテクチャで、データはすべてローカルに保存され、プライバシーの懸念ゼロ。
  • AI戦略生成、自動バックテスト、ベンチマーク比較、ループエンジニアリングによる自動反復。
サイト内本文

Show HN:AI時代にエンジニアの脳を衰えさせない方法

30 Seconds of Knowledge は、新しいタブを開くたびに実際のコードスニペットを表示するブラウザ拡張機能で、開発者がAI時代にプログラミングの基礎を保つのを助けます。1500以上のスニペットを14のライブラリから収録し、25,000人以上の開発者が利用しています。

  • 新しいタブを開くたびにランダムなコードスニペットを表示し、読むのに30秒もかかりません。
  • 14のライブラリから1500以上のスニペットを収録。言語、フレームワーク、面接質問をカバー。
サイト内本文

逆ケンタウロスがAIのパラドックスを解く

コーリー・ドクトロウはAIのパラドックスを探求する:なぜ一部のユーザーはAIを愛し、他のユーザーは嫌うのか?彼は「ケンタウロス」(AIに支援される人間)と「逆ケンタウロス」(AIの責任吸収体として使われる人間)の概念を導入する。AIはバブルであり破裂するが、オープンソースモデル(Whisperなど)は生産的な残渣として残ると主張する。鍵はテクノロジーそのものではなく、誰がAIを制御するかにある。

  • 人間がAIの使い方を選ぶとき、AIは力を与える(ケンタウロス)が、上司が押し付けるときは抑圧的になる(逆ケンタウロス)。
  • ハーストの夏の読書ガイドの失敗は、フリーランスライターがAIのミスの責任を負わされた逆ケンタウロスの典型例。
サイト内本文

LiteRT.js:Googleの高性能Web AI推論ライブラリ

GoogleがLiteRT.jsを発表。ブラウザ上で直接AI推論を実行可能にし、CPU・GPU・NPUのハードウェアアクセラレーションをサポート。既存ソリューション比最大3倍の性能向上。

  • LiteRT.jsはLiteRTのJavaScriptバインディングで、WebAssemblyを介してブラウザ上で高性能AI推論を実現。
  • XNNPACK(CPU)、WebGPU(GPU)、WebNN(NPU)によるハードウェアアクセラレーションをサポート。
サイト内本文

openpilot 0.11.1 リリース

openpilot 0.11.1 では、ドライバーモニタリングの改善(VLMによるスマホ検出)、熱閾値の引き上げ、横方向操舵レポートの追加、新しい車種サポートが行われました。新しいDMモデルは誤検出を減らし、アクティブなスマホ使用をより正確に検出します。熱閾値の変更により、ブロックされるデバイスが約90%削減されました。横方向レポートはステアリングチューニングに役立ちます。バグ修正とAcura MDX、Rivianの新規ポートも含まれています。

  • VLMを用いた新しいDMモデルでスマホ検出の誤報を低減
  • 熱閾値を85°Cに引き上げ、ブロックされるデバイスを約90%削減
サイト内本文

24時間でOpenAI、SpaceXAI、MetaがAIを価格競争に巻き込んだ

24時間の間にOpenAI、SpaceXAI、Metaが相次いで新モデルを発表。共通するのは値下げ競争だ。価格競争がAI市場を再編し、企業はコスト最適化のためモデルポートフォリオ構築が必要に。

  • OpenAIはGPT-5.6、Metaは初の有料モデル、SpaceXAIはGrok 4.5を発表、いずれも低価格を売りに。
  • トークン単価は下がったが、タスク完了までの総コストは増加する可能性がある。
サイト内本文

JavaベースのローカルAIクライアントとMCPオーケストレーター:Python依存の地獄から解放

Ypipeは、Javaベースの無料ローカルAIクライアントで、MCPオーケストレーターを内蔵し、Python環境を必要としません。プライベートエージェントチャット、ローカルモデル管理、ワンクリック統合を提供し、SAPやOracleなどのレガシーシステムと安全に連携できます。データ主権を確保し、ゼロセットアップのポータビリティ、クロスプラットフォーム対応、ヘッドレスモードを備え、企業向けローカルAI導入に最適です。

  • Javaベース、Pythonや外部推論エンジン不要でそのまま使用可能
  • ローカルLLMチャット、システム自動化、ゼロデータ漏洩をサポート
サイト内本文

小さなローカルAI予算の管理(Mac M2 16GB)

この記事では、millfolioが効率的にローカルAI推論を処理するためのハイブリッドタグシステムを説明します。決定論的な文字列タグと参照タグでほとんどのトランザクションをカバーし、曖昧な部分にはデバイス上のAIタグのみを使用します。タグはインデックス時に一度計算され保存され、クエリ時に再実行されません。バックフィルはバッチ処理、重複排除、優先度スケジューラを使用してラップトップの過負荷を回避します。パフォーマンスデータは、異なる説明あたり約650ms、実効速度8.5行/秒を示しています。保存前にタグを確認するためのプレビュー機構も含まれています。

  • millfolioは、文字列、参照、AIタグの3種類を使用し、AIは不確実な場合のみ使用。
  • タグは一度計算して保存され、AIを再実行せずに高速なクエリが可能。
サイト内本文

GDP.pdf:フロンティアモデルは世界を動かす文書を習得できるか?

GDP.pdfは、現実世界のPDF文書を処理するAIモデルの能力を評価する新しいベンチマークです。金融、法律、医療など10の分野をカバーし、最先端モデルでもGPT-5.5の25%が最高で、全モデルが30%未満のスコアに留まりました。PDFが世界経済の命脈であること、そしてモデルの失敗が重大な結果を招く可能性を強調しています。

  • GDP.pdfベンチマークは、10の専門分野にわたる100の実世界のプロンプトとPDFで構成されています。
  • すべてのフロンティアモデルは30%未満のスコアで、GPT-5.5が25%でトップでした。
サイト内本文

AIは『Thrust』を再現できない(が、理解する助けにはなる)

著者がClaude AIを使って1986年の名作ゲーム『Thrust』を再現しようとしたが、AIの出力は質が低かった。しかし、AIを使ってオリジナルの6502アセンブリコードを分析することで、物理演算、サウンド、グラフィックの仕組みを深く理解し、忠実なTypeScript版を完成させた。

  • AIは『Thrust』の独特な操作感を再現できなかった。精密なタイミングと物理パラメータが必要だからだ。
  • AIはオリジナルのアセンブリコード解析に優れ、ゲームメカニクスを明らかにした。
サイト内本文

Kyutai、MuScriptorを公開:マルチインストゥルメント音楽をMIDIに変換するオープンウェイトのデコーダ専用Transformer

MuScriptorはKyutaiとMireloが開発したオープンウェイトのデコーダ専用Transformerであり、マルチインストゥルメントのオーディオをMIDIに変換します。訓練は三段階で行われます:145万の合成MIDIによる事前訓練、17万の実録音(1万1千時間以上)による微調整、および300の手動検証済みトラックによる強化学習。DTestベンチマークではMulti F1が48.2%に達し、YourMT3+ベースラインの21.9%を大きく上回ります。103M、307M、1.4Bパラメータの3サイズが提供され、推論コードはMITライセンス、重みはCC BY-NC 4.0です。

  • MuScriptorはKyutaiとMireloによるオープンウェイトのデコーダ専用Transformerで、マルチインストゥルメント音楽をMIDIに変換する。
  • 三段階訓練:合成データでの事前訓練、17万の実録音での微調整、300の手動検証トラックでの強化学習。
サイト内本文

DeepAnalyze-8Bを使ったT4対応の自律型データサイエンスエージェントの構築方法:サンドボックスコード実行と反復分析

このチュートリアルでは、DeepAnalyze-8Bを中心とした自律型データサイエンスエージェントを構築し、エンドツーエンドで実行します。安定したColabランタイムを準備し、依存関係をインストールし、4ビットモードでモデルをロードして限られたGPUメモリに適合させます。サンドボックス実行環境を追加し、モデルがPythonコードを生成、安全に実行、結果を観察し、エージェントループを継続できるようにします。最後に、マルチファイルのeコマースワークスペースをエージェントに渡し、データのクリーニング、結合、分析、可視化、要約を実行させ、アナリスト級のレポートを生成します。

  • Colabランタイムをセットアップし、依存関係をインストール、DeepAnalyze-8Bを4ビットモードでロードしてT4 GPUに適合。
  • サンドボックスコード実行環境を構築し、モデルが生成したPythonコードを安全に実行して出力をキャプチャ。
サイト内本文

AIに小脳が与えられる:新たなメムトランジスタが低消費電力で異常を検出

ノースウェスタン大学の研究者らは、小脳にヒントを得たメムトランジスタを開発し、極めて少ないエネルギーでほぼ瞬時に新規性を検出することに成功した。実験では、心拍の5分の1の時間で不整脈を識別し、98%以上の精度を達成。従来のAIと比べ計算量は1万分の1に抑えられた。

  • 小脳を模倣したメムトランジスタは、ルーティン入力を無視し、予期せぬイベントのみに反応
  • 心電図テストでミリ秒単位での不整脈検出、精度98%以上、消費電力は従来の1万分の1
サイト内本文

2025–2026年の生成型空間AIの進化

2025年5月から2026年6月にかけての生成型空間AIの急速な成熟を振り返る技術的回想録。テキストからメッシュ、映画的なビデオ、インタラクティブなワールドモデル、カメラ制御可能な生成、ローカル制作パイプライン、AIネイティブCADに至るまでの主要なマイルストーンを紹介。

  • 2025年初頭、Meta AssetGen 2.0やGoogle Veo 2などのツールにより、プロダクション品質の3Dアセットとビデオ基盤が確立。
  • 2025年8月、Google DeepMindのGenie 3がインタラクティブなワールド生成を可能にし、転換点を迎える。
サイト内本文

SKハイニックスが米国IPOで265億ドル調達、外国人企業として史上最大規模、米国工場建設を要請される

AIチップブームがウォール街で最大の瞬間を生み出した。韓国のメモリチップ大手SKハイニックスは金曜日、米国市場デビューで265億ドル(約40兆ウォン)を調達したと発表。これは非米国企業による米国上場としては最大で、アリババの2014年の250億ドルIPOを上回る。また、SKハイニックスとサムスンは米国工場建設を求められている。

  • SKハイニックスが米国IPOで265億ドル調達、外国人企業史上最大。
  • 1億7790万株の米国預託証券(ADR)を1株149ドルで発行。
サイト内本文

ニラ・パテル氏の言葉:ARグラスのプライバシー問題

ニラ・パテル氏はThe Vergecastで、拡張現実グラスを実現するには目元にカメラを設置して常時録画し、情報を重ね合わせる必要があると指摘。フレームに収まる高性能・低消費電力のチップは存在せず、データをクラウドに送信するか、Vision Proのような大型デバイスにするしかない。その結果、次世代製品を追求すればプライバシー侵害は避けられず、社会的な代償が大きすぎるため、開発を止めるべきという議論もあると述べた。

  • ARグラスには目の近くに常時録画するカメラが必要。
  • フレーム内でリアルタイム処理できるチップは現状存在しない。
サイト内本文

今週のAI:チップ、規制、そして変化する仕事

今週のAIニュース:IBMが0.7ナノメートルチップ技術を発表、OpenAIとBroadcomが推論専用チップJalapeñoを公開、NVIDIAが全液冷AI工場設計を披露。政府の監視強化:Anthropicがモデルへのアクセスを再開、OpenAIが米政府への株式譲渡を提案。職種の進化:フォワードデプロイエンジニア、SAPの外部採用とIKEAの内部再教育に焦点。

  • IBMが0.7nmチップを発表、性能50%向上、消費電力70%削減。
  • OpenAIとBroadcomがLLM推論専用チップJalapeñoを発表。
サイト内本文

kTLS と splice(2) によるサンドボックス向けゼロコピーTLSイングレス

Tensorlake はサンドボックスのネットワークイングレスアーキテクチャを再構築し、データパスを L7 リバースプロキシから L4 バイト転送に移行しました。カーネル TLS(kTLS)と splice(2) を利用してゼロコピーを実現し、スループットを大幅に向上させ、CPU コストを削減します。アーキテクチャの変更には、データパスとコントロールプレーンの分離、kTLS によるカーネル内暗号化、バイトフロー監視によるアダプティブタイムアウトが含まれます。パフォーマンステストでは、単一接続のスループットが 1.12 GB/s から 2.50 GB/s に向上し、GB あたりの CPU 消費が 0.90 CPU 秒から 0.49 CPU 秒に低下しました。

  • Tensorlake はサンドボックスイングレスを L7 プロキシから L4 バイト転送に変更し、HTTP 解析とユーザースペースバッファリングを排除しました。
  • カーネル TLS(kTLS)と splice(2) システムコールを使用し、ゼロコピーデータパスを実現。暗号化・復号はカーネル内で行われます。
サイト内本文

Amazon SageMaker AI サーバーレスモデルカスタマイゼーションで NVIDIA Nemotron 3 モデルを微調整

この記事では、NVIDIA Nemotron 3 モデルの独自のアーキテクチャ(Mamba-Transformer MoE ハイブリッド、最大 1M トークンのコンテキスト長対応)を探り、利用可能な微調整手法(SFT、RLVR、RLAIF)を説明し、SageMaker Studio を使用したサーバーレスカスタマイゼーションのステップバイステップガイドを提供します。

  • NVIDIA Nemotron 3 は Mamba-Transformer ハイブリッド MoE アーキテクチャを採用し、パラメータの一部のみを活性化して効率的に動作します。
  • Amazon SageMaker AI は Nemotron 3 Nano および Super 向けにサーバーレスモデルカスタマイゼーションを提供し、インフラ管理は不要です。
サイト内本文

Henry Schein One、Amazon SageMaker AIによるリアルタイム歯科画像検証を実現

Henry Schein Oneは、Amazon SageMaker AI上で動作するAI駆動の画像品質検証システムImage Verifyを開発し、歯科X線画像の品質をリアルタイムで評価することで保険請求の拒否を削減しました。このシステムは数ヶ月で構想から10,000以上の拠点に拡大し、数百万枚のX線画像を処理し、中央値で2秒未満のレイテンシーを実現しています。

  • 歯科保険請求の最大20%が、画像品質不良により初回拒否されています。
  • Image Verifyは撮影時にリアルタイムで品質スコア(1~5)を提供し、即座に再撮影を可能にします。
サイト内本文

Unsloth を使用した Amazon SageMaker AI 上の量子化モデルのデプロイ

Unsloth で量子化されたモデルを AWS にデプロイするための4つのパターンについて学びます。EC2 を使用した直接アクセス、SageMaker AI を使用したマネージドサービング、EKS/ECS を使用したコンテナ化推論が含まれます。Unsloth の動的量子化、モデル形式(GGUF、safetensors)、運用上のベストプラクティスを理解します。

  • Unsloth の動的量子化は、高精度が必要なレイヤーに高いビット数を割り当てることで、モデルサイズを最大86%削減し、精度の低下は最小限に抑えます。
  • 4つのデプロイパターン(EC2 でのテスト、SageMaker AI でのマネージドエンドポイント、EKS/ECS でのコンテナ環境)をカバーします。
サイト内本文

SageMaker HyperPod でのLLM推論のための分離型プリフィルとデコード

この記事では、Amazon SageMaker HyperPod上でvLLMとHyperPod推論オペレーターを使用して、分離型プリフィルとデコード(DPD)を実装する方法を説明します。DPDはプリフィルとデコードのフェーズを別々のGPUプールに分離し、長いプロンプトによる干渉を排除して、ファーストトークン遅延とトークン間遅延を改善します。

  • DPDはLLM推論のプリフィルとデコードを独立したGPUプールで実行する。
  • 長いコンテキストの高同時実行ストリーミングワークロードに特に効果的。
サイト内本文

プロンプト: AIの次の課題はコンピュートのより良い活用

数年にわたるAIチップと計算能力の争奪戦を経て、企業リーダーはインフラへのアクセスを得ることよりも、それを効果的に利用することの方が難しいと気づき始めている。

  • 企業リーダーは計算リソースの獲得よりも効果的な利用が課題と認識
  • AIの次の焦点は計算能力の最適化にシフト
サイト内本文

「コードを学べ」の時代は終わった—今や再スキル化の責任は雇用主にある

AIが「コードを学べ」の時代を終わらせ、再スキル化の責任を雇用主に移した。コード・ルイビルの閉鎖は雇用市場の変化を浮き彫りにし、将来の労働力開発に重要な教訓を提供する。

  • コード・ルイビルはエントリーレベルのテクノロジー職の減少により閉鎖され、「コードを学べ」の時代の終焉を告げている。
  • AIの雇用への影響は不透明だが、企業は従業員の再スキル化に責任を負わなければならない。
サイト内本文

ローカル動画要約パイプライン:SmolVLM2-2.2Bを使用したフレーム処理

SmolVLM2-2.2Bは、能力とサイズのトレードオフ曲線において真に有用なポイントに位置し、1つのコンシューマーGPUで動作し、実際のワークフローに役立つ動画要約を生成できます。

  • SmolVLM2-2.2Bはピクセルシャッフルを使用して各画像を81トークンに圧縮し、コンシューマーGPUでのマルチフレーム処理を可能にします。
  • パイプラインは均一サンプリングとキーフレームサンプリングをサポートし、会議、講義、監視映像に適しています。
サイト内本文

チームを縮小せずにトークン予算を削減する方法

NVIDIAのCEO、ジェンスン・フアン氏は、エンジニアの価値を評価するテストを提案している。年間のAIトークン消費額が給与の半分に満たない場合、「深く憂慮する」と述べ、NVIDIAは年間20億ドルのトークン費用を目指している。多くの企業がAI投資のために人員削減を行っているが、Gartnerの調査によれば約80%が投資利益率の向上を実現できていない。プロンプトキャッシング、モデルルーティング、RAGなどの最適化手法により、トークンコストを大幅に削減できる。長期的な成功のためには、ジュニアエンジニアの維持と育成が不可欠である。

  • フアン氏は、エンジニアのAIトークン使用量は給与の50%以上であるべきと示唆。
  • 企業はAIトークン費用を捻出するため人員削減を行っているが、効果は限定的。
サイト内本文

写真から数学の問題を解くアプリを開発しました

MathNut AI は、写真を撮るだけで数学の問題をAIがステップごとに解説するiPhoneアプリです。算数、代数、幾何などに対応し、対話式のチュータリング機能も備えています。無料版は1日あたりのスキャン回数に制限があります。

  • 印刷または手書きの問題を写真で撮影し、必要な部分を切り取る
  • AIが分かりやすいステップごとの解答と対話形式の質疑応答を提供
サイト内本文

AIシステムの技術追求に関する雑感

著者は子供の頃のコンピュータと現在のB300 GPUシステムを比較し、AI技術の急速な発展について考察。LLMをめぐる議論、記号AIと統計AIの違い、知能の本質、未来の夢と現実について語る。友人との決定論と記憶に関する議論も含む。

  • 子供時代のPCからB300 GPUシステムへの技術的飛躍
  • LLMとAI業界への考察:誇大広告か真の変革か?
サイト内本文

AIは3兆ドルの問題に答えられるか?

3年前、SequoiaのパートナーであるDavid Cahn氏は、シリコンバレーのAIインフラへの巨額投資がもたらす財務的影響を初めて定量化しました。NvidiaのGPU年間収益500億ドルから、先行投資を回収するには2000億ドルの収益が必要だと計算しました。

  • David Cahn氏が3年前にAIインフラ投資のROI要件を初めて計算
  • Nvidiaの年収益500億ドルから2000億ドルの収益閾値を導出
サイト内本文

「AINews」OpenAIがGPT 5.6 Sol/Terra/Lunaを発表、CodexがChatGPTスーパーアプリに

OpenAIは3つの新しいGPT-5.6モデル(Sol、Terra、Luna)を発表し、アプリ層も大幅に更新してChatGPT WorkとCodexを統合しました。新モデルはベンチマークで低コストながら高い性能を示し、Solが最も強力です。独立評価では、特にコーディングやエージェントタスクで最前線に近い結果が確認されています。

  • OpenAIがGPT-5.6を3サイズでリリース:旗艦Sol、中位Terra、低コストLuna。
  • 新しいultra推論レベルは複数のエージェントを並列調整し複雑なタスクを処理。
サイト内本文

韓国半導体SK hynix、AIブームに乗り米国上場で265億ドル調達

先進メモリチップサプライヤーのSK hynixは、AIデータセンター建設競争により利益が急増。同社は金曜日に米国上場の価格設定を行い、265億ドルの調達を目指す。

  • SK hynixは金曜日に米国上場の価格設定を完了し、265億ドルの調達を目指す。
  • 同社はAIブームの主要な恩恵を受けており、利益が急増している。
サイト内本文

LingBot-World-Infinityの紹介:オープンな因果的世界モデルとエージェントハーネス

アントグループのエンボディードインテリジェンス部門Robbyantは、LingBot-World-Infinity(LingBot-World 2.0)をリリースしました。これは140億パラメータの因果的ビデオ生成モデルで、対話型世界シミュレーターとして機能します。核心技術は双方向自己回帰混合注意マスク(MoBA)と分布マッチング蒸留であり、長期的ドリフトを解決します。ディレクター・パイロットエージェントハーネスにより無限のビデオ生成が可能です。論文は60分のセッションを示していますが、オープンソースリリースは1つのチェックポイントと480Pスクリプトのみで、デプロイコードや定量的ベンチマークが欠けており、非商用ライセンスです。

  • LingBot-World-InfinityはアントグループのRobbyantによる140億パラメータの因果的ビデオ生成モデルで、対話型世界シミュレーションを実現。
  • MoBA注意機構と分布マッチング蒸留により、世界モデルの長期的ドリフトを抑制。
サイト内本文

TensorSharp:オープンソースのローカルLLM推論エンジン

TensorSharpは、GGUFモデル向けの.NET 10ベースのローカルLLM推論エンジンで、コマンドラインツール、ブラウザチャットサーバー、OllamaおよびOpenAI互換のAPIを提供します。プライバシー、トークン単位の料金なし、多様なハードウェアバックエンドを強調しています。クイックスタートガイドとllama.cppとのベンチマーク比較も含まれています。

  • C#と.NET 10で構築されたローカルLLM推論エンジン。GGUFモデルとGPUアクセラレーションをサポート。
  • CLI、Web UIチャットサーバー、Ollama/OpenAI互換のHTTP APIを提供。
サイト内本文

UST、物理AIにClaudeを導入

AnthropicとUSTは提携し、半導体や自動車などの業界向け物理AIタスクにClaudeを活用、2万人の従業員をトレーニングする計画。

  • ClaudeはiDECプラットフォームでチップ検証サイクルを50〜70%短縮。
  • Claudeは医療、通信、銀行の自動化システムにも導入。
サイト内本文

OpenAI、業務ワークフローを自動化するエージェンティックツール「ChatGPT Work」を発表

OpenAIは本日、GPT-5.6を搭載した新しい自律型ツール「ChatGPT Work」を発表しました。これはアプリやファイル、ツールを横断して複雑なタスクを実行できるもので、同時にGPT-5.6モデルファミリーとSites機能も公開し、企業の生産性向上を目指します。

  • ChatGPT WorkはChatGPT内の新モードで、接続されたアプリやファイルをまたいで自律的にタスクを実行する。
  • GPT-5.6を搭載し、エージェンティックコーディングタスクでトークン効率が54%向上。
サイト内本文

OpenClaw財団:バイラルAIエージェントを管理する

OpenClawは非常に人気がありますが、安全性に深刻な問題があります。これらの問題に対処し、真に独立したオープンソースプロジェクトにするために、創設者はOpenClaw財団を設立しました。

  • OpenClaw財団が設立され、ガバナンスとセキュリティを提供する。
  • OpenClawには「致命的な三つのリスク」と呼ばれる深刻なセキュリティ脆弱性がある。
サイト内本文

Meta、マルチエージェント機能を強化したフラッグシップモデル「Muse Spark 1.1」を発表

Metaは、マルチエージェント自動化ワークフロー向けに最適化された新しい大規模言語モデルMuse Spark 1.1を公開しました。コンテキスト圧縮機構と100万トークンのコンテキストウィンドウを備え、コーディングベンチマークで優れた成績を記録。Meta Model API(パブリックプレビュー)を通じて利用可能であり、自社開発チップMTIA400と組み合わせたエンタープライズ向け展開も視野に入れています。

  • Muse Spark 1.1はマルチエージェントワークフロー向けに設計され、タスク遂行中の計画変更に動的に対応。
  • コンテキスト圧縮技術により、長時間の対話でも重要な情報を保持。
サイト内本文

トピック

チップ AI ニュース | AI News Hub