레이블이 PUMz 룰 문법인 게시물을 표시합니다. 모든 게시물 표시
레이블이 PUMz 룰 문법인 게시물을 표시합니다. 모든 게시물 표시

2008년 12월 21일 일요일

피드(RSS, ATOM)를 클리핑할 때 이미지도 함께 긁어오게 하려면...

피드를 클리핑할 때 기본적으로 포스팅에 첨부된 이미지는 가져오지 않습니다. 이를 함께 긁어오도록 하려면 다음의 내용을 ...

        <ContentHandler Id="Article" Type="Normal">
            <ContentFilters>
                <Trim/>
            </ContentFilters>
        </ContentHandler>

아래의 내용으로 수정해야 한다.
 
       <ContentHandler Id="Article" Type="Normal">
            <ContentFilters>
                <GrabImage UrlPattern="&lt;img[ a-z0-9&quot;\(\):=._]*src=&quot;([^&quot;]*)&quot;" UrlFormat="${UrlFactor}" ReplaceFormat="&lt;img pumz src=&quot;${FileName}&quot;"/>
                <Trim/>
            </ContentFilters>
        </ContentHandler>

<img src="이미지 full URL"> 의 형식으로 되어 있다면 긁어올 것이고, 그렇지 않으면 못 가져올 수도 있습니다.


2008년 10월 14일 화요일

펌즈 룰 파일의 구조

XML의 이해
룰 파일은 XML 형태로 되어 있습니다. 그 이유는 좀 더 자유로운 형식의 룰을 지원하고, 프로그램도 이해하기 쉽기 때문이죠. 룰 파일을 이해하시려면 XML 파일에 대해서 약간의 지식이 필요합니다. 먼저 아래의아래의 포스트를 보시고 다음으로 진행하십시오. XML에 대해서 알고 계시면 다음으로 넘어가시면 됩니다.


룰 엘리먼트(Rule element)
취상위 엘리먼트입니다. 형식은 아래와 같습니다.
<PUMzRule Version="2.0" Type="News" Base="">

룰 엘리먼트의 속성들(attributes)
  • 버전(Version): 룰의 버전을 의미하며, "2.0"이"2.0"이"2.0"이"2.0"이 최신입니다.
  • 형태(Type): 현재 "News" 밖엔 없습니다.
  • 기본 룰(Base): 부모가 되는 룰인데, 현재는 처리되지 않습니다. ""로 비워둡니다.


프라퍼티 엘리먼트(Properties element)
프라퍼티 엘리먼트는 Java의 Hashtable<key, value>이나 C#의 Dictionary<key, value>같은 것으로 룰, 컨텐트 핸들러 엘리먼트의 자식 엘리먼트가 될 수 있습니다. 프라퍼티 엘리먼트는 속성을 갖지 않으며, 자식 엘리먼트들의 이름(name)이 키(key)가 되고, 자식 엘리먼트의 텍스트(text)가 값(value)가 됩니다. 자식 엘리먼트의 갯수는 무제한입니다.
            <Properties>
                <Url>http://feeds.engadget.com/weblogsinc/engadget</Url>
                <SelectTitle>/rss/channel/title</SelectTitle>
            </Properties>
위의 경우는, "Url"이라는 키에 "http://feeds.engadget.com/weblogsinc/engadget" 값을 저장합니다. "SelectTitle"이라는 키에 "/rss/channel/title" 값을 가집니다. 프라퍼티 엘리먼트의 상위 엘리먼트가 컨텐트 핸들러라면 컨텐트 핸들러가 이 값들을 사용하게 됩니다.


사이트 엘리먼트(Site element)
사이트 엘리먼트는 룰 엘리먼트의 자식 엘리먼트로 하나만 존재합니다. 사이트 목록에 표시하는 용도와 클리핑 엔진의 인코딩 방식을 알려줍니다.
    <Site Title="Engadget" Url="http://engadget.com/" Encoding="utf-8"/>
사이트 엘리먼트의 속성들
  • 제목(Title): 목록에 표시할 사이트의 제목
  • 웹 주소(Url): 사이트 URL. 참고용으로 엔진이 접속하지는 않습니다.
  • 인코딩(Encoding): 해당 사이트의 컨텐트의 인코딩 문자열입니다. 한국 사이트는 보통 "euc-kr" 이나, 간혹 "utf-8" 인 경우도 있습니다. 정확히 알려면 해당 사이트의 소스 보기를 해서 charset값을 확인해 보십시오.


태스크 엘리먼트(Task element)
룰 엘리먼트의 자식 엘리먼트이며, 갯수는 무제한입니다. 보통 2개를 사용합니다. 하나는 컨텐트를 긁어와서 처리하는 용도로, 다른 하나는 처리한 컨텐트를 파일로 저장하는 용도로 사용합니다. 정의한 순서대로 실행됩니다.
    <Task Id="Grab" RootContentHandlerId="Listed">
...
    </Task>
    <Task Id="Output" RootContentHandlerId="Listed">
...
    </Task>
태스크 엘리먼트의 속성들
  • 아이디(Id): 태스크간 구분을 위해 고유한 아이디를 부여합니다.
  • 최상위 컨텐트 핸들러 아이디(RootContentHandlerId): 태스크내에서 가장 먼저 실행할 컨텐트 핸들러의 아이디를 지정합니다.


컨텐트 핸들러 엘리먼트(ContentHandler element)
태스크 엘리먼트의 자식 엘리먼트이며, 갯수는 무제한 입니다. 태스크에서 최상위 컨텐트 핸들러로 정의한 컨텐트 핸들러가 가장 먼저 실행되고, 이 컨텐트 핸들러가 실행을 마치면 자식 컨텐트 핸들러가 실행됩니다. 형태에 따라 실행되는 방법이 달라집니다. 주로 자식 컨텐트를 만들어 내는 역할을 합니다. 자식 컨텐트를 만들어낸 후에는 본 컨텐트에 대해 컨텐트 필터를 실행합니다.
        <ContentHandler Id="Listed" ChildContentHandlerId="Article" Type="XML">
컨텐트 핸들러의 속성
  • 아이디(Id): 컨텐트 핸들러의 구분을 위해 고유한 아이디를 부여합니다. 하나의 태스크 내에서만 고유하게 하면 됩니다.
  • 자식 컨텐트 핸들러 아이디(ChildContentHandlerId): 다음에 실행할 컨텐트 핸들러 아이디를 지정합니다. 이 속성을 입력하지 않거나 값을 비워놓으면 이 컨텐트 핸들러가 해당 태스크내에서 가장 마지막으로 실행되는 것을 의미합니다.
  • 형태(Type): 형태에 따라 다른 처리를 합니다. 입력가능한 값으로는 아래와 같습니다.
    • "ItemList": 자식 컨텐트의 URL을 열거된 아이템을 이용해서 만들고, 그 URL에 있는 컨텐트를 가져오게 합니다.
    • "NumberRange": 자식 컨텐트의 URL을 일련의 숫자를 이용해서 만들고, 그 URL에 있는 컨텐트를 가져오게 합니다.
    • "XML": 컨텐트가 "XML"형태인 경우, 엘리먼트를 선택해서 자식 컨텐트를 만든다.
    • "Regex": 정규식(Regular Expression)을 이용해서 컨텐트에서 자식 컨텐트의 URL을 뽑아내고, 그 URL에 있는 컨텐트를 가져오게 합니다.
    • "Normal": 자식 컨텐트가 없는 경우


컨텐트 핸들러들

"XML" 컨텐트 핸들러

본 포스트를 읽기 전에 펌즈 룰 파일의 구조에 대한 글을 먼저 읽으시기 바랍니다.

"XML" 컨텐트 핸들러는 컨텐트의 내용이 RSS, Atom과 같은 XML로 된 형태일 때 사용한다. 이 컨텐트의 자식 컨텐트는 XPATH 문법을 사용해서 찾아낸다.

만약, http://www.mysite.com/xml의 컨텐트 내용이 다음과 같다면,
<?xml version="1.0" encoding="utf-8"?>
<MyXML>
    <Title>제목</Title>
    <Items>
        <Item>
           <Title>아이템1</Title>
           <Link>http://www.mysite.com/1</Link>
           <Description>내용1</Description>
       </Item>
       <Item>
           <Title>아이템2</Title>
           <Link>http://www.mysite.com/2</Link>
           <Description>내용2</Description>
       </Item>
   </Items>
 </MyXML>

컨텐트 핸들러는 다음과 같이 정의한다.
        <ContentHandler Id="Listed" ChildContentHandlerId="Article" Type="XML">
            <Properties>
                <Url>http://www.mysite.com/xml</Url>
                <SelectTitle>/MyXML/Title</SelectTitle>
                <SelectItems>/MyXML/Items/Item</SelectItems>
                <SelectItemTitle>Title</SelectItemTitle>
                <SelectItemLink>Link</SelectItemLink>
                <SelectItemDescription>Description</SelectItemDescription>
            </Properties>
        </ContentHandler>

"XML" 컨텐트 핸들러의 프라퍼티
  • Url: XML 컨텐트의 URL
  • SelectTitle: XPATH 형식의 질의이며, 컨텐트의 제목을 선택하는 질의다.
  • SelectItems: XPATH 형식의 질의이며, 자식 컨텐트에 해당하는 엘리먼트를 선택하는 질의다.
  • SelectItemTitle: XPATH 형식의 질의이며,자식 컨텐트의 제목을 선택하는 질의다.
  • SelectItemLink: XPATH 형식의 질의이며,자식 컨텐트의 URL을 선택하는 질의다.
  • SelectItemDescription: XPATH 형식의 질의이며,자식 컨텐트의 내용을 선택하는 질의다.


XPATH 질의 문법은 아래의 주소를 참고하기 바랍니다.



"Crop" 컨텐트 필터

본 포스트를 읽기 전에 펌즈 룰 파일의 구조에 대한 글을 먼저 읽으시기 바랍니다.

컨텐트 중에서 시작 태그부터 종료 태그안의 내용만을 남기고 싶을 때 사용합니다.

만약, 긁어온 웹 컨텐트가 아래와 같고,
<body>
<div>
뉴스는 어쩌구 저쩌구...
</div>
</body>

아래와 같이 "Crop" 컨텐트 필터를 정의한다면,
                <Crop StartTag="&lt;div&gt;" EndTag="&lt;/div&gt;" IncludeTags="False" />

다음과 같은 결과를 갖게 된다.
뉴스는 어쩌구 저쩌구...

"Crop" 컨텐트 필터의 속성들
  • 시작 태그(StartTag): 시작이 될 문자열. 문자열은 반드시 XML용으로 인코딩되어야 합니다. String conversion을 사용하시면 간단히 됩니다.
  • 종료 태그(EndTag): 종료가 될 문자열. 문자열은 반드시 XML용으로 인코딩되어야 합니다.
  • 시작 및 종료 태그 포함 여부(IncludeTags): "True"이면 포함하고, "False"이면 포함하지 않는다.
  • 에러 발생시 지나칠 지 여부(SkipOnError): "True"이면, 시작/종료 태그가 없어서 에러나는 경우에도 클리핑을 중단하지 않고, 진행합니다. 만약 "False"이면서 시작/종료 태그가 없어서 에러가 나면 해당 사이트의 클리핑은 중단되고, 다음 사이트로 넘어갑니다.

속성의 값을 입력시 주의할 점은 <, >등의 문자열은 XML에서 쓸 수 있또록 &lt;, &gt; 형태로 변경해야 한다. 변경하는 방법은 Coder’s Toolbox를 이용하면 편리하게 할 수 있다.

"NumberRange" 컨텐트 핸들러

본 포스트를 읽기 전에 펌즈 룰 파일의 구조에 대한 글을 먼저 읽으시기 바랍니다.

편의상 존대맛을 생략합니다.

"NumberRange" 컨텐트 핸들러는 일련의 숫자의 범위를 이용해서 자식 컨텐트의 URL을 만든다. 보통 여러 페이지로 구성된 사이트의 페이지 번호에 사용된다.
예를 들어, 아래와 같이 클리핑할 자식 사이트가 있다고 할 때, 주소의 문자열을 비교해 보면 "1", "2", "3"만 다르고 앞부분은 동일하다. 여기서 1부터 3까지의 범위를 가진 숫자를 사용하면 된다.

http://www.mysite.com/page/1
http://www.mysite.com/page/2
http://www.mysite.com/page/3

위의 내용에 대한 룰 문법은 다음과 같다.

        <ContentHandler Id="Paged" ChildContentHandlerId="Listed" Type="NumberRange">       
            <Properties>
                <UrlFormat>http://www.mysite.com/page/${PageNumber}</UrlFormat>
                <StartNumber>1</StartNumber>
                <EndNumber>3</EndNumber>
                <NumberTo>PageNumber</NumberTo>
            </Properties>
        </ContentHandler>
"NumberRange" 컨텐트 핸들러의 프라퍼티(Properties)
  • NumberTo: 숫자를 어떤 변수로 할지. 위에서는 "PageNumber"가 된다.
  • UrlFormat: Url 형식. 여기에 숫자변수를 적용한다. 위에서는 ${PageNumber}부분이 숫자로 교체된다. 범위는 시작번호부터 끝번호까지 된다.
  • StartNumber: 시작 번호
  • EndNumber: 끝 번호

2008년 10월 12일 일요일

"ItemList" 컨텐트 핸들러

본 포스트를 읽기 전에 펌즈 룰 파일의 구조에 대한 글을 먼저 읽으시기 바랍니다.

"ItemList" 컨텐트 핸들러는 아이템을 이용해서 자식 컨텐트의 URL을 만든다. 주로 분류가 여럿인 경우에 사용된다.
예를 들어, 아래와 같이 클리핑할 자식 사이트가 있다고 할 때, 주소의 문자열을 비교해 보면 "A", "B"만 다르고 앞부분은 동일하다. 여기서 "A", "B"를 아이템이라고 본다.

http://www.mysite.com/category/A
http://www.mysite.com/category/B

따라서, 룰 파일에는 다음과 같이 작성한다.

        <ContentHandler Id="Categorized" ChildContentHandlerId="Paged" Type="ItemList">       
            <Properties>
                <UrlFormat>http://www.mysite.com/category/${CategoryId}</UrlFormat>
                <ItemCount>2</ItemCount>
                <Item.1>A</Item.1>
                <Item.1.Title>First Item</Item.1.Title>
                <Item.2>B</Item.2>
                <Item.2.Title>Second Item</Item.2.Title>
                <ItemTo>CategoryId</ItemTo>
            </Properties>
        </ContentHandler>

"ItemList" 컨텐트 핸들러의 프라퍼티(Properties)
  • ItemTo: Item을 어떤 변수로 할지. 위에서는 "CategoryId"가 된다.
  • UrlFormat: Url 형식. 여기에 Item 변수를 적용한다. 위에서는 ${CategoryId}부분이 아이템의 값으로 교체된다.
  • Item.n: Item의 값
  • Item.n.Title: Item의 제목. 자식 컨텐트의 제목이 된다.

2008년 10월 9일 목요일

펌즈(PUMz)의 동작 원리

펌즈에서 클리핑(Clipping)을 시작하면, 엔진(Engine)은 룰(Rule)에 정의된 태스크(Task)를 차례대로 실행합니다. 태스크에는 여러개의 컨텐트 핸들러(Content Handler)가 있고, 그 중 최상위 컨텐트 핸들러가 먼저 실행됩니다. 컨텐트 핸들러가 실행되면 웹 사이트를 읽어 오기도 하고, 읽어온 웹 사이트에서 연결된 자식 웹 사이트를 찾아내기도 합니다. 이를 선처리라고 하면, 후처리는 컨텐트 필터(Content Filter)를 통해서 읽어온 컨텐트에서 필요한 부분을 추리거나 이미지 파일 등을 다시 읽어오는 역할을 하기도 합니다. 컨텐트 필터 중엔 컨텐트를 파일로 저장하는 역할을 하기도 합니다.

용어가 난해하시면 용어에 대한 포스트를 읽어 보시기 바랍니다.

펌즈(PUMz)에서 사용하는 용어

  • 펌즈(PUMz): 웹 클리핑 엔진(Engine). 실행 객체
  • 펌즈.뉴스(PUMz.News): 주로 뉴스 컨텐트를 클리핑하기 위한 엔진
  • 컨텐트(Content): 웹 사이트를 구성하는 HTML, 이미지 파일 등
  • 클리핑(Clipping): 컨텐트 중 일부만을 솎아내는 작업
  • 룰(Rule): 클리핑을 하는 규칙
  • 태스크(Task): 룰에 정의된 작업 단위. 정의된 순서대로 실행됨.
  • 컨텐트 핸들러(Content Handler): 태스크내에 있으며, 컨텐트를 생성하거나 처리하는 객체
  • 최상위 컨텐트 핸들러(Root Content Handler): 태스크내에서 가장 먼저 실행이 되는 컨텐트 핸들러
  • 자식 컨텐트 핸들러(Child Content Handler): 해당 컨텐트 핸들러가 실행된 후에 실행이 될 컨텐트 핸들러
  • 컨텐트 필터(Content Filter): 컨텐트 핸들러내에 있으며, 컨텐트 핸들러가 실행된 후, 컨텐트에 대한 처리를 하는 객체. 정의된 순서대로 처리함.