Fabric 데이터분석 플랫폼

제약·바이오 기업에서 논문 PDF에 담긴 정보를 체계적으로 활용하기 위해 추진한 PoC입니다. 비정형 문서를 구조화해 데이터 자산으로 관리하는 것이 목적이었습니다.

폴라리스클라우드는 논문 PDF에서 AI로 추출한 키워드를 Microsoft Fabric 환경의 정형 테이블로 관리하는 구조를 구성했습니다.

기존에는 사업군 연구와 관련된 PDF 논문을 파일 형식으로 두고 폴더 단위로 수기 관리했습니다.

• 인수인계 부담: 관리 담당자가 바뀌거나 인원이 개편되면 자료 보관과 탐색에 대한 인수인계가 필요했습니다.
• 핵심 내용 파악: 각 파일의 핵심 내용을 한눈에 파악하기 어려웠습니다.

논문 PDF의 키워드와 메타정보를 구조화해 관리할 수 있는 Fabric 기반 데이터 환경이 필요해졌습니다.

핵심 키워드, 메타정보, 저장 위치 등 논문 정보를 체계적으로 관리할 수 있도록 Microsoft Fabric 환경을 구성했습니다. 이후 Azure OpenAI와 연계한 검색·조회 지원을 목표로 했습니다.

1. Fabric 아키텍처 구성: Lakehouse에 Bronze-Silver-Gold 계층 구조의 아키텍처를 구축했습니다.
2. 원천 데이터 연계: CSV, Excel, API 형태의 원천 데이터를 Fabric에 연계했습니다.
3. AI 키워드 추출: Azure OpenAI로 논문에서 키워드를 추출했습니다.
4. 데이터 가공·정형화: Notebook과 Data Pipeline으로 추출한 키워드 데이터를 계층 구조에 따라 적재·가공해 정형 테이블로 정리했습니다.

적재 데이터 현황, 파이프라인 실행 결과, 데이터 품질, 처리시간 벤치마크는 아래 이미지와 같이 정리했습니다.

논문 PDF의 키워드와 메타정보가 정형 테이블로 관리되면서 문서 탐색이 쉬워졌습니다. Copilot 등 AI 기능과 연계하면 논문 요약 서비스도 이용할 수 있습니다. 구축 전후 비교는 아래 표에 정리했습니다.