Белгородский государственный национальный исследовательский университет
Метод сегментации перекрывающихся форменных элементов крови на микроскопических медицинских изображениях
Батищев Д.С., Михелев В.М., Утянский А.А.
Аннотация
В статье рассматривается решение задачи эритроцитометрии с использованием методов компьютерного зрения. Для проведения эритроцитометрии необходимо выделить эритроциты на микроскопическом изображении крови и затем вычислить такие их параметры как диаметр, объём и толщину. Основная проблема при подсчете площадей эритроцитов заключается в том, что они могут перекрываться друг другом, а также изменять свою форму в некотором диапазоне. Предлагаемый подход на первом этапе предусматривает предобработку микроскопических изображений клеток крови. Затем выполняется разделение контура группы перекрывающихся объектов на множество сегментов, разделенных специальными точками, так называемыми вогнутыми точками. Предложен комбинированный подход для извлечения контурных доказательств, который основан на обнаружении вогнутых точек с помощью анализа кривизны, использовании проверки на вогнутость и эффективной процедуры поиска. Затем предлагается использовать метод группировки сегментов, чтобы найти группу сегментов контура, которые вместе образуют объект эллиптической формы. Группировка сегментов подразумевает перебор предварительно отобранных сегментов контура с целью возможности их объединить в единый замкнутый объект. Приведенное тестирование алгоритма сегментации перекрывающих друг друга эритроцитов на микроскопических изображениях, выполненное на 24 реальных микроскопических медицинских изображениях крови, показало эффективность разработанного метода.
Ключевые слова: эритроцитометрия, компьютерное зрение, микроскопическое изображение крови, перекрывающиеся объекты, вогнутые точки, анализ кривизны, объект эллиптической формы.
Method of segmentation of overlapping blood cells on microscopic medical images
Batishchev D.S., Mihelev V.M., Utyanskij A.A.
Abstract
The article discusses the solution to the problem of erythrocytometry using computer vision methods. To carry out erythrocytometry, it is necessary to isolate erythrocytes on a microscopic image of blood and then calculate their parameters such as diameter, volume and thickness. The main problem when calculating the areas of red blood cells is that they can overlap each other, and also change their shape in a certain range. At the first stage, the proposed approach provides for the preprocessing of microscopic images of blood cells. Then, the outline of a group of overlapping objects is divided into many segments, separated by special points, the so-called concave points. A combined approach is proposed for extracting contour evidence, which is based on the detection of concave points using curvature analysis, the use of concavity testing and an efficient search procedure. It is then suggested to use the segment grouping method to find a group of path segments that together form an elliptical object. Segment grouping means iterating over preselected contour segments in order to be able to combine them into a single closed object. The testing of the segmentation algorithm for overlapping erythrocytes in microscopic images on 24 real microscopic medical images of blood showed the effectiveness of the developed method.
Keywords: erythrocytometry, computer vision, blood microscopic image, overlapping objects, concave points, curvature analysis, elliptical object.
Введение
В задачах анализа изображений клеток крови, полученных с помощью микроскопа, в рамках цитологических исследований часто возникает необходимость подсчета количества клеток определенного типа. При исследовании препаратов крови важной задачей является подсчет количества эритроцитов, исходя из этого показателя можно диагностировать нарушения в кровообразовании или повреждения эритроцитов вследствие различных факторов. Одним из важных диагностических исследований для установления правильного и точного диагноза является измерение диаметра эритроцитов - эритроцитометрия [Камышников, 2015]. Графическое изображение соотношения содержания в крови эритроцитов с различными диаметрами называют эритроцитометрической кривой Прайс- Джонса, которая у практически здоровых людей носит характер нормального распределения. При этом ключевым этапом диагностики любого вида анемии является оценка морфологии эритроцитов. Основная проблема при подсчете площадей эритроцитов [Батищев и др., 2108] заключается в том, что они могут перекрываться друг другом [Park et al., 2013], а также изменять свою форму в некотором диапазоне. Наличие различных шумов и посторонних объектов в поле зрения микроскопа дополнительно усложняет анализ изображения.
Таким образом, очевидно, что разработка методов сегментации перекрывающихся форменных элементов крови на микроскопических медицинских изображениях и их программно-алгоритмическая реализация на основе компьютерного зрения является актуальной задачей для решения перечисленных выше проблем.
Теоретические основы
Для проведения эритроцитометрии необходимо выделить эритроциты на изображении крови и затем вычислить такие их параметры, как диаметр, объём и толщину. Основной проблемой при сегментации эритроцитов, часто возникающей на практике, является то, что на микроскопическом изображении крови некоторые эритроциты могут перекрывать друг друга [Липунова, Скоркина, 2004].
Предполагается, что цвет эритроцитов четко отличается от фона изображения, а их контуры имеют приблизительно эллиптические формы. Предлагается для сегментации частично перекрывающихся объектов предварительно решить задачу извлечения контурных данных, а затем выполнить оценку контуров.
Для извлечения контурных данных необходимо выполнить два этапа: первый - сегментация контура, второй - группировка сегмента. На первом этапе контуры объекта делятся на отдельные сегменты. На втором этапе выполняется проверка доказательства наличия контура путем объединения найденных ранее сегментов контура, которые принадлежат одному и тому же объекту. Как только доказательство наличия контура получено, то выполняется оценка контура в результате чего наблюдаемые объекты моделируются в форме объектов эллиптической формы. Предлагается новый комбинированный подход для извлечения контурных доказательств, который основан на обнаружении вогнутых точек с помощью анализа кривизны, использовании проверки на вогнутость и эффективной процедуры поиска.
Сегментация перекрывающихся объектов. Предлагаемый подход на первом этапе предусматривает предобработку микроскопических изображений клеток крови. Для этого при создании силуэта изображения используется бинаризация изображения путем подавления фона на основе метода Оцу [Otsu, 1979] и морфологическая обработка для сглаживания границ объекта [Сойникова и др., 2018]. Карта границ исследуемых объектов строится с использованием детектора краев Канни [Canny, 1986; Сойникова и др., 2016].
На этапе получения доказательства наличия контура граничные точки, которые принадлежали каждому объекту, группируются с использованием вогнутых точек [Кудрявцев, 1981] и свойств подогнанных эллипсов [Zhang, 2012]. Когда доказательство наличия контура будет получено, тогда выполняется оценка этого контура и осуществляется дорисовка недостающих частей перекрывающихся объектов.
Извлечение контурных доказательств. Вначале происходит извлечение данных контура, содержащего видимые части границ объектов, которые затем можно использовать для вывода перекрытых (невидимых) частей перекрывающихся объектов. Извлечение данных о наличии контура включает две отдельные задачи: сегментация контура и группирование сегмента.
Контурная сегментация. Частичное перекрытие между двумя или более объектами эллиптической формы приводит к вогнутой форме с вогнутыми краевыми точками, которые соответствуют пересечениям границ объекта. Именно эти вогнутые точки используются для сегментирования контура перекрывающихся объектов.
Предлагается, что после нахождения края изображения детектором краев Канни [Canny, 1986], вогнутые точки определяются путем обнаружения угловых точек с последующей проверкой их на вогнутость. Угловые точки обнаруживаются с использованием метода модифицированного пространства кривизны, основанного на анализе кривизны [He, Yung, 2004]. Данный метод позволяет определить точки с максимальной кривизной, лежащие как в вогнутой, так и в выпуклой областях контуров объекта. Так как нас интересуют только вогнутые точки, соединяющие контуры перекрывающихся объектов, обнаруженные угловые точки проверяются на то, находятся ли они на вогнутых областях [Zafari, 2015a; Zafari, 2017].
Обозначим обнаруженную угловую точку через pi, а две смежные точки контура через pi-k и pt + к. Угловая точка pt квалифицируется как вогнутая, если линия, соединяющая точки pt-к и pt + к, не находится внутри объекта. Полученные вогнутые точки затем будут использоваться для разбиения контуров объекта на сегменты контура. На рисунке 1 показан пример извлечения вогнутой точки и сегментации контура.
Группировка сегментов. Из-за существующих перекрытий между объектами один объект может создавать несколько сегментов контура. Группировка сегментов необходима для объединения всех контурных сегментов, принадлежащих одному объекту. Основная идея предлагаемого метода группировки сегментов состоит в том, чтобы найти группу сегментов контура, которые вместе образуют объект эллиптической формы. Группировка сегментов подразумевает перебор предварительно отобранных сегментов контура с целью возможности их объединения в единый замкнутый объект. Для оптимизации процесса группировки предлагается использовать ограниченное пространство поиска. Сегмент контура в процессе группировки рассматривается только находящийся рядом с соседними сегментами. Два сегмента считаются соседними, если евклидово расстояние между их центральными точками меньше заданного порогового значения.
Группировка сегментов контура осуществляется в процессе подбора эллипса [Zafari, 2015а]. При наличии пары контурных сегментов, s, и Sj, и функции, измеряющей качество подгонки эллипса, сегмент s, группируется с сегментом Sj, если вычисленное качество эллипса, подогнанного к сегментам соединения, выше, чем качество эллипса, установленного на каждый отдельный сегмент контура в отдельности.
а) б) в)
Рис. 1. Сегментация контура: (а) карта объектов; (б) испытание на вогнутость для извлечения вогнутых углов и удаленных выпуклых углов; (в) сегментация контура по вогнутым точкам Fig. 1. Segmentation of the contour: (a) map of objects; (b) a concavity test to extract concave corners and distant convex corners; (c) segmentation of the contour by concave points
Достоверность соответствия описывается как среднее отклонение расстояния (ADD), которое измеряет расхождение между подобранной кривой и точками-кандидатами на контуре [Zhang et al., 2012]. Более низкое значение ADD указывает на более высокую степень соответствия, и поэтому объединенное правило для выполнения группировки сегментов в терминах ADD определяется как
где a, b, (xeo,yeo) и 0 являются параметрами эллипса, это - длина большой полуоси, длина малой полуоси, координаты центра эллипса и угол ориентации эллипса относительно оси x. Однако использование критерия ADD (4) для группировки сегментов может привести к нежелательным результатам, если точки контура не соответствуют модели эллипса. Для решения этой проблемы необходимы дополнительные правила.
В том случае, если обрабатываются два сегмента контура с целью их группировки, то сегмент с большей длиной должен обеспечивать больший вклад в рассматриваемый критерий, чем сегмент с более короткой длиной. Исходя из этого предположения, параметр, представляющий длину сегментов контура, добавляется к критерию группировки. Предполагая, что контурный сегмент s/ длиннее контурного сегмента sj, уравнение (1) заменяется следующим соотношением
Надо отметить, что отдельные сегменты контура, находящиеся в непосредственной близости друг к другу, с меньшей вероятностью представляют один объект, и поэтому они не должны объединяться. Однако, два сегмента контура, модели эллипса которых находятся на очень большом расстоянии друг от друга, также не должны группироваться.
Поэтому, следуя этим соглашениям [Bai et al., 2009] и будучи заинтересованным в группировании сегментов близкого контура, предлагается применить два дополнительных правила.
Обозначим центры эллипса для отрезков контура st, Sj и suj через et, ej и etuj соответственно. Тогда сегменты контура st и sj не должны группироваться как один сегмент, при условии, что, во-первых, расстояние от центра эллипса комбинированных сегментов контура etuj до центра его элементов е, и ej больше заданного порога ti:
Значение ti может быть определено с использованием свойств объекта и обычно близко к длине малой оси подогнанных эллипсов. Значение t2 должно быть установлено таким образом, чтобы не допустить группирования контура сегмента, принадлежащего разным объектам, это обычно достигается при t2 в 2,5-4 раза выше, чем порог ti.
Оценка контура. Последним этапом предлагаемого метода является оценка контура [Fitzgibbon et al., 1999], когда на основе визуальной информации, полученной на предыдущем этапе, оцениваются недостающие части контуров объекта. Подгонка эллипса является очень распространенным подходом в сегментации перекрывающихся объектов. Наиболее эффективные современные методы подбора эллипса, основанные на граничных точках формы, обычно решаются с помощью классической задачи наименьших квадратов. Поэтому оценка контура выполняется с помощью метода прямой подгонки по методу наименьших квадратов, где частично наблюдаемые объекты моделируются в форме объектов эллиптической формы. На рисунке 2 показан пример оценки контура, примененной к доказательствам контура.
а) б) в)
Рис. 2. Оценка контура: (а) исходное изображение; б) извлечение контурных доказательств;ч(в) оценка контура
Fig. 2. Evaluation of the contour: (a) original image; b) extracting contour evidence; (c) contour estimate
Разработка метода сегментации
эритроцитометрия микроскопический медицинский изображение
Блок-схема сегментации перекрывающихся объектов на изображении представлена на рисунке 3. Идея метода решения поставленной задачи заключается в разделении контура группы перекрывающихся объектов на множество сегментов, разделенных специальными точками, так называемыми вогнутыми точками. Далее приведено описание основных этапов рассматриваемого метода.