港口装载机的管理涉及多个部门，具体归属如下：
国务院交通主管部门直属或地方政府双重领导的港务（管理）局 ：负责港区（长江干线为港辖区）内的港机管理工作。
县级以上各级地方人民政府的港口管理机构 ：负责本行政区域内的港机管理工作。
特种车辆部门 ：装载机属于特种车辆，需要质检部门定期验收合格，并由劳动局、安监局、质量监督局部门统一管理。
车辆管理所 ：装载机跟挂车翻斗车一样归车辆管理所管理，还有交警队管理。
城市建设部门 ：2016年以后，装载机归城市建设部门管理。
技术监督部门 ：在工厂内使用的装载机需要到技术监督部门取得特种车辆操作证，并由企业机械设备部门监管。
综合以上信息，可以得出以下结论：
交通部或地方政府的港口管理机构 ：负责港口内的港机管理工作。
特种车辆部门、劳动局、安监局、质量监督局 ：负责装载机的统一管理、验收和操作证发放。
车辆管理所、交警队 ：负责装载机的登记和交通管理。
城市建设部门 ：负责装载机的城市建设和管理。
技术监督部门、企业机械设备部门 ：负责工厂内装载机的操作证管理和设备监管。
