% Copyright © 2004-2009 Adam Przepiórkowski
%
% This program is free software; you can redistribute it and/or
% modify it under the terms of the GNU General Public License
% as published by the Free Software Foundation; either version 2
% of the License, or (at your option) any later version.
%
% This program is distributed in the hope that it will be useful,
% but WITHOUT ANY WARRANTY; without even the implied warranty of
% MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
% GNU General Public License for more details.
%
% You should have received a copy of the GNU General Public License
% along with this program; if not, write to the Free Software
% Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston,
% MA 02110-1301, USA.

\author{Adam Przepiórkowski}

\section{Segmentacja}
\label{sec:segmentation}

Znaczniki morfosyntaktyczne, tzw.~tagi, przypisane są segmentom (tokenom,
w~przybliżeniu słowom).  Segmenty nie są dłuższe niż słowa ortograficzne
(słowa 'od spacji do spacji'), ale w~niektórych wypadkach segmenty mogą być
krótsze niż takie słowa:

\begin{itemize}

\item Jako odrębne segmenty traktowane są formy aglutynacyjne leksemu
\textsc{być}, a~zatem następujące słowa reprezentują po dwa segmenty:
\emph{[łgał][eś]}, \emph{[długo][śmy]}, \emph{[tak][em]}.

\item Za odrębne segmenty uznane są partykuły \emph{by}, \emph{-ż(e)}
i~\emph{-li}, a~zatem następujące słowa reprezentują po kilka segmentów:
\emph{[przyszedł][by]}, \emph{[napisała][by][m]}, \emph{[chodź][że]},
\emph{[potrzebował][że][by][ś]}, \emph{[znasz][li]}.

\item Odrębnym segmentem jest poprzyimkowa nieakcentowana forma zaimka
\emph{-ń}: \emph{[do][ń]}, \emph{[ze][ń]}.

\item Dzielone na segmenty są niektóre słowa zawierające łącznik,
a~mianowicie:

\begin{itemize}

\item słowa typu \emph{[polsko][-][niemiecki]},

\item podwójne nazwiska, np. \emph{[Kowalska][-][Nowakowska]},

\end{itemize}

Nie są natomiast dzielone skrótowce zawierające łącznik
sygnalizujący odmianę, np. \emph{PRL-u}.

\item Dzielone na segmenty są także występujące na końcu zdania formy
kończące się kropką, np. skróty typu \emph{itd.}, \emph{itp.}, liczby pisane
cyframi w~znaczeniu porządkowym i~inicjały, np.  \emph{[itp][.]},
\emph{[George] [W][.]} itp.  Dzielenie form z~kropką kończących zdanie jest
uzasadnione podwójną rolą kropki w~takiej pozycji: jest ona częścią formy
i~jednocześnie sygnalizuje koniec zdania.  W~wypadku, gdy takie formy nie
występują na końcu zdania, są one uznawane za pojedyncze segmenty.

\end{itemize}

Z~powyższych zasad wynika, że segmentacja tekstu w~\ref{seg1}. wygląda tak,
jak to przedstawiono w~\ref{seg2}.

\begin{enumerate}

\item \label{seg1} Pojechalibyśmy z~Janem M. Rokitą i~Janem
Nowakiem-Jeziorańskim na sesję polsko-amerykańską, gdyby nas zaprosił George
W. Byłaby to nasza już 2. doń podróż od czasów PRL-u, a~może i~3., czy
nawet~4.

\item \label{seg2} \emph{[Pojechali][by][śmy]
    [z]~[Janem] [M.] [Rokitą] [i]~[Janem]
    [Nowakiem][-][Jeziorańskim] [na] [sesję]
    [polsko][-][amerykańską][,] [gdyby] [nas]
    [zaprosił] [George] [W][.]
    [Była][by] [to] [nasza] [już] [2.]
    [do][ń] [podróż] [od] [czasów]
    [PRL-u][,] [a]~[może] [i] [3.][,]
    [czy] [nawet] [4][.]}
\end{enumerate}
