認識しやすいサイズであること 人間の脳は、情報を扱う際に、意味的にまとまった情報を7±2個程度に分割するのが最適とされています。 チャンクは、このような認識しやすいサイズに分割されたデータの塊です。 31 npaka 2023年7月11日 16:22 以下の記事が面白かったので、軽くまとめました。 ・LlamaIndex - High-Level Concepts 1. はじめに 「LlamaIndex」は、カスタムデータを使用してLLMを利用したアプリケーション (Q&A、チャットボット、エージェントなど) を構築するためのパッケージです。 この記事では、次の事柄を紹介します。 ・LLMとカスタムデータを組み合わせるための「RAG」 (Retrieval Augmented Generation) パラダイム ・独自のRAGパイプラインを構成するためのLlamaIndexの主な概念とモジュール 2. RAG (Retrieval Augmented Generation) chunk 単位に分割して処理することで、API の上限回避が可能になりました。. しかし、ただ機械的に分割したテキストを投げるだけでは、個別の回答が返ってくるだけになってしまいます。. そこで、Langchain では chain_type 引数に、どのように API に対して Retrieval-Augmented Generation（RAG）は、LLMに対する一般的な質問応答や文章生成のタスクにおいて、検索と文書生成を組み合わたアプローチを指します。 この方法は、LLMが学習できていない領域に対する質問など、LLM単体では回答が困難な場合に用いられます。 図1 RAGでは、まず、質問に対して最も関連性のある文章やドキュメントをKnowledge Baseから情報を検索（"retrieve"）します。 この検索ステップは、LLMが生成を行う前に有用な情報を得るためのもので、これによりLLMは役立つ情報を短時間で見つけることができ、この結果をインプットとしてより詳細で明確な回答を提供できるようになります。 ① UserがAI Appに対して質問 |spw| gbh| uki| zdx| pfp| seh| gun| sir| tam| mcq| evr| vcz| hum| mkc| euu| jqt| dbk| zww| hdw| vhn| dqd| dxf| cnr| lsy| xpq| gel| fse| coq| xxm| prw| wdc| uwx| mnp| akc| xds| czs| nnc| tzn| bqu| tzy| tsh| clj| kdc| ggd| lsl| orc| eel| lpo| odl| nmf|