[AIマイナーニュース速報] 1TBの混沌をRAG化せよ！ローカルLLM構築の「血と汗」の全記録

📰 ニュース概要

• 10年分・1TB超の社内資料をRAG化: 過去のプロジェクト報告書や技術文書、シミュレーションデータ（OrcaFlex等）を含む膨大な非構造化データを自然言語で検索可能にするプロジェクトの全容が公開された。
• ローカル完結型の技術スタックを採用: 機密保持のため外部APIを避け、Python、Ollama（LLaMAモデル）、LlamaIndex、nomic-embed-textを組み合わせたローカル環境を構築した。
• データクレンジングで劇的な改善: 当初はメモリ不足でシステムが停止したが、動画やバックアップ、一時ファイル等の不要なデータをフィルタリングすることで、インデックス対象ファイルを54%削減することに成功した。

💡 重要なポイント

• 「何でも読み込む」は失敗の元: 1TBのデータをそのままLlamaIndexに投入するとRAMが溢れてOSがフリーズ。動画や巨大な数値計算ファイルを排除するフィルタリング処理がRAG構築の鍵となった。
• ファイル形式の変換: PDF、DOCX、XLSXなどをプレーンテキストに変換してから処理することで、LlamaIndexの処理負荷を安定させた。
• 実用的な技術選定: 学習コストと開発効率の観点から、Pythonと親和性の高いOllamaおよびLlamaIndexが最も生産的であったと結論づけている。

🦈 サメの眼（キュレーターの視点）

1TBという膨大な「情報の墓場」を、現実に動くシステムに昇華させた泥臭いプロセスが最高にクールだサメ！特に、最初の「メモリ爆発」から、拡張子ベースのフィルタリングリスト（Video、Images、Executablesなど）を地道に作り上げて、インデックス対象を半分以下に削ぎ落とした判断が鋭いサメ。RAGは魔法じゃなくて、こうした徹底的なデータの前処理が成功を分けることを証明しているサメ！

🚀 これからどうなる？

ローカルLLMの性能向上とLlamaIndexのようなオーケストレーションツールの成熟により、機密性の高い社内ドキュメントを外部に出さずに高度に活用する「完全閉域RAG」の導入が、専門性の高い製造業やエンジニアリング業界でさらに加速するはずだサメ！

💬 はるサメ視点の一言

「とりあえず全部入れろ」はサメの丸呑みと同じで、お腹（RAM）を壊すサメ！よく噛んで（フィルタリングして）整理するのが、強いRAGを作るコツだサメ！🦈🔥

📚 用語解説

• RAG (Retrieval-Augmented Generation): 検索拡張生成。LLMが持つ知識だけでなく、外部のドキュメントから関連情報を検索して回答に組み込む技術。

• Ollama: LLaMAなどの大規模言語モデルをローカル環境で簡単に実行・管理できるツール。

• LlamaIndex: LLMと外部データを接続するためのデータフレームワーク。データの読み込み、インデックス作成、クエリ実行を効率化する。

• 情報元: From zero to a RAG system: successes and failures