AWS Machine Learning Blog· Daxeshkumar Patel·· 2일 전AI 점수40
Crawl4AI로 웹 콘텐츠를 전처리해 Amazon Bedrock Knowledge Bases에 적재하는 방법
Prepare web content for Amazon Bedrock Knowledge Bases with Crawl4AI
AI 요약
Crawl4AI로 수집한 웹 페이지를 Markdown 본문과 메타데이터 사이드카 파일로 준비한 뒤, Amazon S3 데이터 소스를 거쳐 Amazon Bedrock Knowledge Bases에 적재하는 절차를 설명한다. 표준 Amazon Bedrock Web Crawler로는 처리하기 어려운 불필요한 영역 제거, CSS 셀렉터를 이용한 영역 추출, 사용자 정의 메타데이터 부여가 필요한 경우에 쓰는 경로다. 샘플 구현은 aws-samples 리포지토리에서 제공된다.
출처: AWS Machine Learning Blog · aws.amazon.com