칼럼니스트 Elizabeth Lopatto가 머스크가 중간선거에 쏟아부은 약 4억 4600만 달러로 살 수 있었던 17가지를 꼽으며 빈정거리듯 비판한다. 머스크의 America PAC가 지출한 4700만 달러는 텍사스주 상원 선거에서 James Talarico를 낙선시키려는 목적이었으나, Talarico는 55%의 득표율로 머스크가 지지한 공화당 후보 Ken Paxton을 물리쳤다.
OpenAI의 샘 올트먼 CEO는 PC의 RAM 구매와 관련한 발언이 문맥에서 벗어나 비판받았다며, 사람들은 컴퓨터에 원하는 만큼 메모리를 탑재해야 한다고 말했다. 그러면서 세계 메모리 생산을 늘려야 한다고 오랫동안 주장해 왔다고 설명했다. 올트먼은 Cheeky Pint 팟캐스트에서 세계의 제한된 DRAM이 개인용 컴퓨터에 놓여 5%의 시간만 사용되는 상황을 “매우 끔찍하다”고 말한 바 있다. AI 데이터센터가 RAM 공급을 두고 경쟁하면서 가격이 오르고 있다. Intel은 부족 현상이 적어도 내년까지 이어질 것으로 보고 있으며, SK하이닉스는 2030년까지 계속될 가능성을 예측하고 있다.
AI 코딩 비용은 토큰 수가 아니라, 리뷰를 통과해 병합된 Pull Request 1건당 비용으로 측정해야 한다는 논고다. 어려운 계획 작업은 최첨단 모델에, 정형화된 작업은 자체 운용하는 오픈 웨이트 모델에 나눠 맡겨야 한다고 주장한다. HPE는 정형 워크로드를 나눠 처리해 토큰 비용을 30~50% 줄였다고 밝혔다.
Paris Marx의 신간 『Hyperscale』은 테크 업계의 권력 확대와 이에 대한 저항을 베트남 전쟁기의 반전 운동에서 아일랜드, 칠레, 뉴질랜드까지 폭넓게 좇는다. 저자는 아일랜드에서 송전망의 제약을 받은 데이터센터 사업자가 전용 가스 화력발전소 건설로 방향을 옮긴 경위를 예로 든다. 미국에서도 이와 같은 움직임이 빠르게 확산되고 있다고 지적한다.
기사는 AI 인프라 투자가 닷컴 버블이나 통신 광섬유 투자 버블과 비슷한 국면인지 검증하는 분석이다. 다만 제목의 4,000억 달러 초과라는 수치를 뒷받침할 신뢰할 만한 자료는 확인되지 않았다고 명시하고 있다. 확인된 사실은 Business Insider의 Dakin Campbell이 "we have seen this movie before"라고 발언한 것과, 구조화 신용이 AI 인프라 자금 조달에 쓰이기 시작했다는 점이다.
OpenAI는 사내 프런티어 모델의 훈련·평가 환경 격리를 강화하고, 최상위 모델의 에이전트 팀으로 레드티밍을 실시했다. 훈련은 인터넷에 연결하지 않는 방침으로 진행하며, 9월 20일 인시던트로 중단했던 RL 훈련과 사내 추론을 10월 1일에 재개했다.
선정 이유: 최첨단 모델의 훈련 환경을 어떻게 격리하고, 레드티밍에서 어떤 돌파 경로가 발견됐는지 구체적 사례와 함께 정리돼 있어 방어 설계를 비교하는 자료로 활용할 수 있다.
기업 AI의 경쟁력은 모델 선정보다 아키텍처, 메모리 관리, 스케줄링, 최적화 등 모델 주변의 서빙 하네스 설계에서 결정된다고 주장한다. 추론 시에는 모델 가중치가 고정되어 있어도 KV 캐시가 활성 요청 수와 컨텍스트 길이에 따라 커지므로, 연산 자원에 여유가 있어도 GPU 메모리가 부족해질 수 있다. 이에 따라 먼저 측정해 병목을 찾고, 대응과 재측정을 반복하는 접근이 제안되고 있다.
MIT Technology Review의 EmTech Future 컨퍼런스 세션에서 규제가 엄격한 환경에서 확장 가능한 AI 기반을 구축하는 방법이 다뤄진다. 데이터, 엔지니어링, 플랫폼, 운영 모델, 거버넌스의 통합을 전제로 하며, 에이전트형 시스템을 포함한 신기술을 지속 가능한 가치로 바꾸는 책임 있는 구현이 핵심 주제가 된다.
기업용 AI의 다음 제약은 모델 성능보다 GPU 가동률이 되어가고 있다. GPU는 가동 여부와 상관없이 시간 단위로 비용이 발생하기 때문에, 유용하게 쓰이지 않는 시간이 수익성을 크게 좌우한다. API 비용은 이용량에 비례해 늘어나는 반면, 자체 GPU 비용은 거의 고정되어 있어 일정량을 넘으면 자체 보유가 유리해진다. 다만 인프라는 피크 수요에 맞춰 설계되므로, 상시 가동 중이더라도 클러스터 전체의 능력은 낭비되기 쉽다.