|
|
from pyautogui import *
|
|
|
import pyscreeze
|
|
|
import ctypes
|
|
|
from pyOpenRPA.Tools import CrossOS
|
|
|
if CrossOS.IS_WINDOWS_BOOL:
|
|
|
from pywinauto import win32defines, win32structures, win32functions
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def BoxCreate(inTopInt:int, inLeftInt:int, inHeightInt:int, inWidthInt:int) -> pyscreeze.Box:
|
|
|
"""Создать экземпляр прямоугольной области.
|
|
|
|
|
|
!ВНИМАНИЕ! Координаты inTopInt, inLeftInt определяют верхний левый край прямоугольной области.
|
|
|
|
|
|
:param inTopInt: Координата левой верхней точки в пикселях по оси X (горизонталь)
|
|
|
:type inTopInt: int
|
|
|
:param inLeftInt: Координата левой верхней точки в пикселях по оси Y (вертикаль)
|
|
|
:type inLeftInt: int
|
|
|
:param inHeightInt: Расстояние вниз от левой верхней точки в пикселях
|
|
|
:type inHeightInt: int
|
|
|
:param inWidthInt: Расстояние вправо от левой верхней точки в пикселях
|
|
|
:type inWidthInt: int
|
|
|
"""
|
|
|
return pyscreeze.Box(top = inTopInt, left = inLeftInt, height = inHeightInt, width = inWidthInt)
|
|
|
|
|
|
def BoxNormalize(*inArgList, **inAgrDict) -> list:
|
|
|
pass
|
|
|
|
|
|
def BoxMoveTo(inBox, inDXInt=None, inDYInt=None):
|
|
|
"""Переместить прямоугольную область (сохранить длину/ширину).
|
|
|
|
|
|
!ВНИМАНИЕ! ПОДДЕРЖИВАЕТ ПАКЕТНУЮ ОБРАТКУ ПРИ ПЕРЕДАЧЕ СПИСКА ЭКЗЕМПЛЯРОВ BOX
|
|
|
|
|
|
.. code-block:: python
|
|
|
|
|
|
# Screen: Взаимодействие с экраном
|
|
|
from pyOpenRPA.Robot import Screen
|
|
|
# Вариант изменения 1-го элемента
|
|
|
# Создать пробную прямоугольную область
|
|
|
lBox = Screen.BoxCreate(inTopInt=10, inLeftInt=10, inHeightInt=10, inWidthInt=10)
|
|
|
# Переместить пробную прямоугольную область
|
|
|
lBox = Screen.BoxMoveTo(lBox, inDXInt=100, inDYInt=200)
|
|
|
|
|
|
:param inBox: Экземпляр класса прямоугольной области Box
|
|
|
:type inBox: pyscreeze.Box
|
|
|
:param inDXInt: Смещение левой верхней координаты по оси X в пикселях (горизонтальная ось).
|
|
|
:type inDXInt: int, опциональный
|
|
|
:param inDYInt: Смещение левой верхней координаты по оси Y в пикселях (вертикальная ось).
|
|
|
:type inDYInt: int, опциональный
|
|
|
:return: Экземпляр класса прямоугольной области Box
|
|
|
:rtype: pyscreeze.Box
|
|
|
"""
|
|
|
if type(inBox) is list:
|
|
|
lResult = []
|
|
|
for lBox in inBox:
|
|
|
lResult.append(BoxMoveTo(lBox, inDXInt=inDXInt, inDYInt=inDYInt))
|
|
|
return lResult
|
|
|
else:
|
|
|
lTopInt = inBox.top
|
|
|
lLeftInt = inBox.left
|
|
|
if inDXInt: lLeftInt = inBox.left + inDXInt
|
|
|
if inDYInt: lTopInt = inBox.top + inDYInt
|
|
|
return BoxCreate(inTopInt=lTopInt, inLeftInt=lLeftInt,
|
|
|
inHeightInt=inBox.height, inWidthInt=inBox.width)
|
|
|
|
|
|
def BoxModify(inBox, inDWidthInt=None, inDHeightInt=None, inPointRuleStr="CC"):
|
|
|
"""Изменить ширину / высоту прямоугольной области.
|
|
|
|
|
|
!ВНИМАНИЕ! ПОДДЕРЖИВАЕТ ПАКЕТНУЮ ОБРАТКУ ПРИ ПЕРЕДАЧЕ СПИСКА ЭКЗЕМПЛЯРОВ BOX
|
|
|
|
|
|
!ВНИМАНИЕ! ЕСЛИ СМЕЩЕНИЕ ПРИВЕДЕТ К ОБРАЗОВАНИЮ ДРОБНОГО ЧИСЛА, БУДЕТ ВЫПОЛНЕНО ОКРУГЛЕНИЕ ПО МАТЕМАТИЧЕСКИМ ПРАВИЛАМ
|
|
|
|
|
|
.. code-block:: python
|
|
|
|
|
|
# Screen: Взаимодействие с экраном
|
|
|
from pyOpenRPA.Robot import Screen
|
|
|
# Вариант изменения 1-го элемента
|
|
|
# Создать пробную прямоугольную область
|
|
|
lBox = Screen.BoxCreate(inTopInt=10, inLeftInt=10, inHeightInt=10, inWidthInt=10)
|
|
|
# Скорректировать пробную прямоугольную область
|
|
|
lBox2 = Screen.BoxModify(lBox,10,10,"CC"); print(lBox2)
|
|
|
lBox2 = Screen.BoxModify(lBox,10,10,"LU"); print(lBox2)
|
|
|
lBox2 = Screen.BoxModify(lBox,10,10,"LD"); print(lBox2)
|
|
|
lBox2 = Screen.BoxModify(lBox,10,10,"RU"); print(lBox2)
|
|
|
lBox2 = Screen.BoxModify(lBox,10,10,"RD"); print(lBox2)
|
|
|
|
|
|
:param inBox: Экземпляр класса прямоугольной области Box
|
|
|
:type inBox: pyscreeze.Box
|
|
|
:param inDXInt: Смещение левой верхней координаты по оси X в пикселях (горизонтальная ось).
|
|
|
:type inDXInt: int, опциональный
|
|
|
:param inDYInt: Смещение левой верхней координаты по оси Y в пикселях (вертикальная ось).
|
|
|
:type inDYInt: int, опциональный
|
|
|
:param inPointRuleStr: Символьное указание точки (подробнее см. выше), относительно которой выполнить изменение прямоугольной области. Допустимые значения: "CC" (по умолчанию), "LU", "LD", "RD", "RU"
|
|
|
:type inPointRuleStr: str, опциональный
|
|
|
:return: Экземпляр класса прямоугольной области Box
|
|
|
:rtype: pyscreeze.Box
|
|
|
"""
|
|
|
if type(inBox) is list:
|
|
|
lResult = []
|
|
|
for lBox in inBox:
|
|
|
lResult.append(BoxModify(lBox, inDWidthInt=inDWidthInt, inDHeightInt=inDHeightInt, inPointRuleStr=inPointRuleStr))
|
|
|
return lResult
|
|
|
else:
|
|
|
lTopInt = inBox.top
|
|
|
lLeftInt = inBox.left
|
|
|
lWidthInt = inBox.width + inDWidthInt
|
|
|
lHeightInt = inBox.height + inDHeightInt
|
|
|
inPointRuleStr = inPointRuleStr.upper() # ВЕРХНИЙ РЕГИСТР
|
|
|
if inDWidthInt: # Изменения по ширине
|
|
|
if "C" in inPointRuleStr:
|
|
|
lLeftInt = round(lLeftInt - inDWidthInt / 2)
|
|
|
elif "R" in inPointRuleStr:
|
|
|
lLeftInt = lLeftInt - inDWidthInt
|
|
|
if inDHeightInt: # Изменения по высоте
|
|
|
if "C" in inPointRuleStr:
|
|
|
lTopInt = round(lTopInt - inDHeightInt / 2)
|
|
|
elif "D" in inPointRuleStr:
|
|
|
lTopInt = lTopInt - inDHeightInt
|
|
|
return BoxCreate(inTopInt=lTopInt, inLeftInt=lLeftInt,
|
|
|
inHeightInt=lHeightInt, inWidthInt=lWidthInt)
|
|
|
|
|
|
|
|
|
def BoxDraw(inBox, inColorStr='green',inThicknessInt = 2):
|
|
|
""" Выполнить подсветку прямоугольной области inBox на экране
|
|
|
|
|
|
!ВНИМАНИЕ! РАБОТАЕТ ТОЛЬКО НА ОС WINDOWS
|
|
|
|
|
|
!ВНИМАНИЕ! ПОДДЕРЖИВАЕТ ПАКЕТНУЮ ОБРАТКУ ПРИ ПЕРЕДАЧЕ СПИСКА ЭКЗЕМПЛЯРОВ BOX
|
|
|
|
|
|
.. code-block:: python
|
|
|
|
|
|
# Screen: Взаимодействие с экраном
|
|
|
from pyOpenRPA.Robot import Screen
|
|
|
# ВАРИАНТ ОТРИСОВКИ 1ГО ЭЛЕМЕНТА
|
|
|
# Создать пробную прямоугольную область
|
|
|
lBox = Screen.BoxCreate(inTopInt=10, inLeftInt=10, inHeightInt=10, inWidthInt=10)
|
|
|
Screen.BoxDraw(lBox)
|
|
|
|
|
|
# ВАРИАНТ ПАКЕТНОЙ ОТРИСОВКИ
|
|
|
# Создать пробную прямоугольную область
|
|
|
lBox = Screen.BoxCreate(inTopInt=10, inLeftInt=10, inHeightInt=100, inWidthInt=100)
|
|
|
lBox2 = Screen.BoxCreate(inTopInt=60, inLeftInt=60, inHeightInt=100, inWidthInt=100)
|
|
|
Screen.BoxDraw([lBox, lBox2])
|
|
|
|
|
|
:param inBox: Экземпляр класса прямоугольной области Box
|
|
|
:type inBox: pyscreeze.Box
|
|
|
:param inColorStr: цвет подсветки прямоугольной области. Варианты: 'red', 'green', 'blue'. По умолчанию 'green'
|
|
|
:type inColorStr: str, необязательный
|
|
|
:param inThicknessInt: толщина подсветки прямоугольной области. По умолчанию 2
|
|
|
:type inThicknessInt: int, необязательный
|
|
|
"""
|
|
|
if type(inBox) is list:
|
|
|
for lBox in inBox:
|
|
|
BoxDraw(inBox=lBox, inColorStr=inColorStr,inThicknessInt = inThicknessInt)
|
|
|
else:
|
|
|
fill = win32defines.BS_NULL
|
|
|
if inBox is not None:
|
|
|
"""
|
|
|
Draw an outline around the window.
|
|
|
* **inColorStr** can be either an integer or one of 'red', 'green', 'blue'
|
|
|
(default 'green')
|
|
|
* **inThicknessInt** inThicknessInt of rectangle (default 2)
|
|
|
* **fill** how to fill in the rectangle (default BS_NULL)
|
|
|
"""
|
|
|
# don't draw if dialog is not visible
|
|
|
#if not lWrapperObject.is_visible():
|
|
|
# return
|
|
|
colours = {
|
|
|
"green": 0x00ff00,
|
|
|
"blue": 0xff0000,
|
|
|
"red": 0x0000ff,
|
|
|
}
|
|
|
# if it's a known colour
|
|
|
if inColorStr in colours:
|
|
|
inColorStr = colours[inColorStr]
|
|
|
# create the pen(outline)
|
|
|
pen_handle = win32functions.CreatePen(
|
|
|
win32defines.PS_SOLID, inThicknessInt, inColorStr)
|
|
|
# create the brush (inside)
|
|
|
brush = win32structures.LOGBRUSH()
|
|
|
brush.lbStyle = fill
|
|
|
brush.lbHatch = win32defines.HS_DIAGCROSS
|
|
|
brush_handle = win32functions.CreateBrushIndirect(ctypes.byref(brush))
|
|
|
# get the Device Context
|
|
|
dc = win32functions.CreateDC("DISPLAY", None, None, None )
|
|
|
# push our objects into it
|
|
|
win32functions.SelectObject(dc, brush_handle)
|
|
|
win32functions.SelectObject(dc, pen_handle)
|
|
|
# draw the rectangle to the DC
|
|
|
win32functions.Rectangle(
|
|
|
dc, inBox.left, inBox.top, inBox.left+inBox.width, inBox.top+inBox.height)
|
|
|
# Delete the brush and pen we created
|
|
|
win32functions.DeleteObject(brush_handle)
|
|
|
win32functions.DeleteObject(pen_handle)
|
|
|
# delete the Display context that we created
|
|
|
win32functions.DeleteDC(dc)
|
|
|
|
|
|
|
|
|
def BoxAnchorRuleCheck(inBox, inAnchorBox=None, inAnchorRuleStr=None) -> bool:
|
|
|
"""Выполнить проверку соответствия всем условиям вхождения inBox в inAnchorBox с учетом правил inAnchorRule
|
|
|
|
|
|
.. code-block:: python
|
|
|
|
|
|
# Screen: Взаимодействие с экраном
|
|
|
from pyOpenRPA.Robot import Screen
|
|
|
lBox1 = Screen.BoxCreate(inTopInt=265, inLeftInt=62, inHeightInt=100, inWidthInt=90)
|
|
|
lBox2 = Screen.BoxCreate(inTopInt=160, inLeftInt=160, inHeightInt=100, inWidthInt=100)
|
|
|
lBox3 = Screen.BoxCreate(inTopInt=460, inLeftInt=60, inHeightInt=100, inWidthInt=100)
|
|
|
|
|
|
l = Screen.BoxAnchorRuleCheck(inBox=lBox1, inAnchorBox=[lBox2,lBox3], inAnchorRuleStr=["LD","CUS"])
|
|
|
Screen.BoxDraw([lBox1,lBox2,lBox3])
|
|
|
|
|
|
:param inBox: Экземпляр класса прямоугольной области Box
|
|
|
:type inBox: pyscreeze.Box
|
|
|
:param inAnchorBox: Экземпляр класса прямоугольной области Box
|
|
|
:type inAnchorBox: pyscreeze.Box или list из pyscreeze.Box
|
|
|
:param inAnchorRuleStr: Символьное указание области проверки соответствия. Может принимать единственное значение (единый формат для всех inAnchorBox), или список форматов для каждого inAnchorBox (если inAnchorBox является списком Box)
|
|
|
:type inAnchorRuleStr: str или list из str
|
|
|
:return: True - соответствует всем правилам
|
|
|
:rtype: bool
|
|
|
"""
|
|
|
# Формирование стартовых переменных
|
|
|
if inAnchorBox is None: inAnchorBox = []
|
|
|
if type(inAnchorBox) is not list:
|
|
|
inAnchorBox = [inAnchorBox]
|
|
|
lAnchorRuleStr = "CC,S"
|
|
|
if inAnchorRuleStr is None or inAnchorRuleStr=="": inAnchorRuleStr = [lAnchorRuleStr]
|
|
|
if type(inAnchorRuleStr) is not list:
|
|
|
inAnchorRuleStr = [inAnchorRuleStr]
|
|
|
|
|
|
lResult = True
|
|
|
|
|
|
# Дополнение списка правил до длины якорей, если они расходятся и список правил равен длине 1 или 0 (по умолчанию CC,S)
|
|
|
if len(inAnchorRuleStr)==1 and len(inAnchorBox)==1:
|
|
|
if inAnchorRuleStr[0]=="" or inAnchorRuleStr[0] is None:
|
|
|
inAnchorRuleStr = [lAnchorRuleStr]
|
|
|
elif len(inAnchorRuleStr)==1 and len(inAnchorBox)!=1:
|
|
|
if inAnchorRuleStr[0]!="" and inAnchorRuleStr[0] is not None:
|
|
|
lAnchorRuleStr = inAnchorRuleStr[0]
|
|
|
|
|
|
if len(inAnchorRuleStr) != len(inAnchorBox):
|
|
|
inAnchorRuleStr = []
|
|
|
for lItem in inAnchorBox:
|
|
|
inAnchorRuleStr.append(lAnchorRuleStr)
|
|
|
|
|
|
for lIndexInt, lItemBox in enumerate(inAnchorBox): # Остановиться, если итог False
|
|
|
lItemRuleStr = inAnchorRuleStr[lIndexInt].upper()
|
|
|
print(lItemRuleStr)
|
|
|
# Подготовка вспомогательных областей
|
|
|
lScreenWidthPXInt = 9999
|
|
|
lScreenHeightPXInt = 5555
|
|
|
lAnchorLUBox = BoxCreate(inTopInt=0, inLeftInt=0, inHeightInt=lItemBox.top, inWidthInt=lItemBox.left)
|
|
|
lAnchorRUBox = BoxCreate(inTopInt=0, inLeftInt=lItemBox.left+lItemBox.width, inHeightInt=lItemBox.top, inWidthInt=lScreenWidthPXInt)
|
|
|
lAnchorCUBox = BoxCreate(inTopInt=0, inLeftInt=lItemBox.left, inHeightInt=lItemBox.top, inWidthInt=lItemBox.width)
|
|
|
lAnchorLCBox = BoxCreate(inTopInt=lItemBox.top, inLeftInt=0, inHeightInt=lItemBox.height, inWidthInt=lItemBox.left)
|
|
|
lAnchorRCBox = BoxCreate(inTopInt=lItemBox.top, inLeftInt=lItemBox.left+lItemBox.width, inHeightInt=lItemBox.height, inWidthInt=lScreenWidthPXInt)
|
|
|
lAnchorLDBox = BoxCreate(inTopInt=lItemBox.top+lItemBox.height, inLeftInt=0, inHeightInt=lScreenHeightPXInt, inWidthInt=lItemBox.left)
|
|
|
lAnchorRDBox = BoxCreate(inTopInt=lItemBox.top+lItemBox.height, inLeftInt=lItemBox.left+lItemBox.width, inHeightInt=lScreenHeightPXInt, inWidthInt=lScreenWidthPXInt)
|
|
|
lAnchorCDBox = BoxCreate(inTopInt=lItemBox.top+lItemBox.height, inLeftInt=lItemBox.left, inHeightInt=lScreenHeightPXInt, inWidthInt=lItemBox.width)
|
|
|
#import pdb
|
|
|
#pdb.set_trace()
|
|
|
if "S" not in lItemRuleStr: # Проверка без S - Strict
|
|
|
lResult = False
|
|
|
# Алгоритм проверки соответствия хотя бы на одно вхождение
|
|
|
if ("CC" in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lItemBox)==True: lResult = True
|
|
|
elif ("LU" in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorLUBox)==True: lResult = True
|
|
|
elif ("RU" in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorRUBox)==True: lResult = True
|
|
|
elif ("CU" in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorCUBox)==True: lResult = True
|
|
|
elif ("LC" in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorLCBox)==True: lResult = True
|
|
|
elif ("RC" in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorRCBox)==True: lResult = True
|
|
|
elif ("LD" in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorLDBox)==True: lResult = True
|
|
|
elif ("RD" in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorRDBox)==True: lResult = True
|
|
|
elif ("CD" in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorCDBox)==True: lResult = True
|
|
|
if lResult == False: break # Остановиться, если итог False
|
|
|
else: # Проверка с S - Strict
|
|
|
lResult = True
|
|
|
# Алгоритм проверки соответствия хотя бы на одно вхождение для того сегмента, который недоступен
|
|
|
if ("CC" not in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lItemBox)==True: lResult = False
|
|
|
elif ("LU" not in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorLUBox)==True: lResult = False
|
|
|
elif ("RU" not in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorRUBox)==True: lResult = False
|
|
|
elif ("CU" not in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorCUBox)==True: lResult = False
|
|
|
elif ("LC" not in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorLCBox)==True: lResult = False
|
|
|
elif ("RC" not in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorRCBox)==True: lResult = False
|
|
|
elif ("LD" not in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorLDBox)==True: lResult = False
|
|
|
elif ("RD" not in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorRDBox)==True: lResult = False
|
|
|
elif ("CD" not in lItemRuleStr) and BoxOverlay(inBox1=inBox, inBox2=lAnchorCDBox)==True: lResult = False
|
|
|
if lResult == False: break # Остановиться, если итог False
|
|
|
|
|
|
return lResult
|
|
|
|
|
|
def BoxOverlay(inBox1, inBox2) -> bool:
|
|
|
"""Проверить наложение 2-х прямоугольных областей друг на друга.
|
|
|
|
|
|
.. code-block:: python
|
|
|
|
|
|
# Screen: Взаимодействие с экраном
|
|
|
from pyOpenRPA.Robot import Screen
|
|
|
lBox1 = Screen.BoxCreate(inTopInt=10, inLeftInt=10, inHeightInt=100, inWidthInt=1000)
|
|
|
lBox2 = Screen.BoxCreate(inTopInt=160, inLeftInt=160, inHeightInt=100, inWidthInt=100)
|
|
|
Screen.BoxDraw([lBox1, lBox2])
|
|
|
Screen.BoxOverlay(lBox1,lBox2)
|
|
|
|
|
|
:param inBox1: Экземпляр класса прямоугольной области Box
|
|
|
:type inBox1: pyscreeze.Box
|
|
|
:param inBox2: Экземпляр класса прямоугольной области Box
|
|
|
:type inBox2: pyscreeze.Box
|
|
|
:return: True - inBox1 наложен на inBox2
|
|
|
:rtype: bool
|
|
|
"""
|
|
|
return not ((inBox1.left>inBox2.left + inBox2.width or inBox2.left>inBox1.left + inBox1.width) or (inBox1.top>inBox2.top + inBox2.height or inBox2.top>inBox1.top + inBox1.height)) |
