며칠 전 운영을 하는 친구의 데이터 처리를 도와주다가, 그녀가 웹페이지 때문에 미칠 것 같다고 하소연했어요. 사연인즉슨, 경쟁사 웹사이트에서 제품 소개와 글을 긁어와서 자신의 자료실로 정리하고 싶었대요. 처음에는 AI 크롤러로 한 번 돌리면 끝날 줄 알았는데, 결과물이 도저히 볼 수 없는 수준이었어요. 화면 가득한 HTML 태그, 엉망인 줄바꿈, 그리고 텍스트에 섞여 있는 정체불명의 기호들까지. 그녀는 그걸 보면서 마치 책 한 상자를 믹서기에 쏟아부은 것 같다고 했어요.
저도 그 기분을 너무 잘 알아요. 많은 사람들이 크롤러로 긁어오면 다 된 줄 알지만, 사실 진짜 문제는 그때부터 시작이에요. 웹페이지에서 긁어온 내용은 본질적으로 구조화된 코드 덩어리라서, 브라우저는 그걸 예쁜 페이지로 렌더링할 수 있지만 문서나 노트 앱에 그대로 넣으면 재앙이 따로 없죠. div 태그, class 속성, script 스크립트, 각종 인라인 스타일이 전부 본문에 섞여 있어서, 읽기는커녕 본문이 어디 있는지 찾는 것조차 운에 맡겨야 해요.
예전에는 이런 상황을 만나면 수동으로 복사 붙여넣기를 하거나, 정규식으로 잔뜩 써서 정리했어요. 수동은 너무 느리고, 정규식은 잘못 건드리기 쉬웠죠. 그런데 나중에 정말 간편한 방법을 발견했어요. 바로 HTML을 Markdown으로 변환하는 도구를 쓰는 거예요. 이건 쉽게 말해 번역기 같은 건데, 웹페이지의 복잡한 HTML 구조를 Markdown이라는 가벼운 마크업 언어로 바꿔주는 거예요. 변환하고 나면 제목은 제목대로, 목록은 목록대로, 링크는 링크대로, 깔끔하고 산뜻하게 정리돼요.
구체적으로 어떻게 하냐고요? 사실 간단해요. 먼저 AI 크롤러가 긁어온 HTML 내용을 파일로 저장하거나, 변환 도구에 바로 붙여넣어요. 버튼 한 번 누르면 불필요한 태그를 자동으로 제거하고 핵심 텍스트 구조와 서식을 유지해줘요. 예를 들어 원래 중첩된 div 안에 텍스트가 들어 있었는데, 변환 후에는 깔끔한 문단이 돼요. ul과 li로 쌓아 올린 목록은 Markdown의 하이픈 목록으로 바뀌고, 굵은 글씨는 별표 두 개로 감싸진 형태가 되죠.
제 친구가 써보고는 마치 그 난잡한 문자 덩어리를 목욕시킨 기분이라고 하더라고요. 원래는 보기만 해도 골치 아팠던 내용이 이제는 Notion이나 Obsidian에 바로 넣어 쓸 수 있게 됐어요. 그녀는 또 하나 좋은 점을 발견했는데, Markdown 형식이 2차 가공에 특히 적합하다는 거예요. 제목 계층을 바꾸거나, 문단 순서를 조정하거나, 특정 부분을 추출하는 게 HTML에서 작업하는 것보다 훨씬 쉬워요.
다만 한 가지 주의할 점은, 모든 HTML→Markdown 도구가 믿을 만한 건 아니에요. 어떤 도구는 변환 후 서식이 사라지고, 어떤 건 표를 엉망으로 만들고, 또 어떤 건 중국어 지원이 약해서 변환 후 글자가 깨지기도 해요. 저도 여러 개를 써봤는데, 최종적으로 정착한 건 오픈소스 도구 하나예요. 변환 정확도가 비교적 높고 일괄 처리도 지원해요. 크롤러로 긁어온 내용을 자주 처리해야 한다면 여러 개를 써보고 가장 손에 맞는 걸 찾는 걸 추천해요.
또 하나의 작은 팁은, 변환 전에 HTML에서 script와 style 태그를 먼저 삭제하는 게 좋다는 거예요. 이런 것들은 변환 도구가 처리하지 못하고, 남겨두면 변환 부담만 늘리고 때로는 변환 오류를 일으키기도 해요. 많은 도구가 사실 자체 필터링 기능을 갖추고 있지만, 직접 한 번 확인하는 게 더 안전해요.
결국 AI 크롤러는 좋은 도구예요. 대량의 콘텐츠를 빠르게 확보할 수 있게 해주니까요. 하지만 확보는 첫 단계일 뿐이고, 정리하고 가공하는 과정이야말로 데이터를 진짜 유용하게 만드는 핵심이에요. HTML을 Markdown으로 변환하는 이 작업은 작은 팁처럼 보이지만, 실제로는 많은 시간과 노력을 절약해줘요. 다음에 크롤러로 긁어온 내용이 엉망인 상황을 만나면, 당황해서 손으로 지우지 말고 이 방법을 시도해보세요. 생각보다 훨씬 간단하다는 걸 알게 될 거예요.